Han var sønn av ekspedisjonssjef i Kirkedepartementet Peter Vogt og hustru Charlotte Juhl og ble i 1843 gift med Karen Magdalena Arntzen (1819–1870).