Lorentz Vogt giftet seg i 1911 med Ida Marie Fabricius. Ambassadør Hersleb Vogt var deres sønn.