Blytt vokste opp i Bergen som sønn av gullsmedmester Michael Blytt (1795-1839) og hustru, Emmerentze Arentz (1792-1874). Han var med på å starte Bergens Anthenæum, og var dets direktør fra 1854 til 1860. Han var også fra 1869 styreformann i selskapet «Den gode Hensigt».