Han var sønn av kjøpmannen Wollert Konow (1779–1839) og bror av Carl og Hans Konow. I 1839 giftet han seg med Marie Louise Oehlenschläger (1818–1910), datter av den danske dikteren Adam Oehlenschläger. Han var far til agronomen Harald Konow og politikeren Wollert Konow (SB).