Vogt giftet seg 26. november 1822 i Christiania med den svenske grevinnen Hedvig Lovisa Frölich (født 26. juni 1787, død 7. januar 1880 i Kristianstad), de fikk datteren Ingeborg Hedvig Vogt (født 11. februar 1825 i Christiania, død 17. august 1904 i Tosterup, Skåne, Sverige). Hun ble gift i 1852 med greve Albert Ehrensvärd (1821–1901), svensk utenriksminister, hvis svigersønn var utenriksminister Ludvig Douglas (1849–1916). Vogt var onkel til Niels Vogt. Og han hadde i et første ekteskap med Ingeborg Maria Lorentzen (1788–1821), datter av Jacob L. i Drammen og Karen Rosenberg Stranger, døtrene Karen Rosenberg Vogt (1810–1855) og Marie Louise V. (1817–1900), som begge ble gift (1835 og 1860) med kommandanten på den nye festning Oscarsborg, Henrich Sigvard Scheel (1806–1891).