Hans foreldre var trelasthandler, senere sorenskriver i Nordfjord Niels Nielsen Vogt (1755–1809) og Abigael Jørgensdatter Monrad (1757–1812), en prestedatter fra Gjerpen. Farmor var Anna Maria Cudrio. Jørgen Herman Vogt tok artium i 1800, 16 år gammel. Hans far solgte sin trelastbedrift for at sønnene kunne studere i København. Han begynte der høsten 1800 og tok juridisk embetseksamen i 1806 og fikk stilling som fullmektig i Finanskollegiet.