Jón var fæddur á Hofi á Skagaströnd,sonur séra Árna Illugasonar, sem var prestur þar frá 1796-1825 og þriðju konu hans, Steinunnar Ólafsdóttur. Faðir Jóns var orðinn hálfsjötugur þegar hann fæddist og lést þegar drengurinn var nýorðinn sex ára. Sagði Jón frá því seinna að hann hefði verið einn hjá föður sínum þegar hann dó. Móðir Jóns var síðan lengi ráðskona á Syðri-Ey og Auðkúlu.

Jón var settur til mennta og lauk stúdentsprófi frá Bessastaðaskóla. Hann var bókavörður á árunum 1848-1887, fyrst á Stiftsbókasafninu en þegar safnið fékk titilinn Landsbókasafn Íslands árið 1881 varð hann fyrsti Landsbókavörður Íslands. Hann var einnig fyrsti forstöðumaður Forngripasafns Íslands, síðar Þjóðminjasafnið, þegar það var stofnað árið 1863. Lengi vel sá hann einn um bæði söfnin. Tekjurnar af þessum störfum voru ekki háar og hann var því jafnframt biskupsritari um tíma og kenndi einnig við Lærða skólann og var bókavörður þar.

Jón varð fyrir áhrifum frá Grimmsbræðrum og fór að safna þjóðsögum og ævintýrum í samstarfi við Magnús Grímsson. Þeir gáfu út Íslenzk æfintýri árið 1852. Sú útgáfa hlaut dræmar viðtökur. Þeir tóku aftur upp söfnun sagna vegna hvatningar frá Konrad von Maurer. Magnús dó 1860 en Jón hélt söfnuninni áfram. Á árunum 1862 til 1864 kom svo út stórvirki hans, Íslenzkar þjóðsögur og æfintýri í tveimur bindum og var það prentað í Leipzig með liðsinni Maurers. Safnið var seinna gefið út í sex bindum.

Kona Jóns var Katrín Þorvaldsdóttir Sívertsen úr Hrappsey, systir Kristínar konu Jóns Thoroddsen. Þau áttu einn son sem dó ungur.