Han var sønn av kjøpmannen Wollert Konow (1779–1839) og Cecilie Catharina Krogh (1777–1821). I 1832 ble han gift med Modesta Grieg (1812–1880), datter av stadshauptmann Joachim Susemehl Grieg. Han var farfar til maleren Karl Konow.