Han var sønn av Johan Herman Lie Vogt (1858–1932) og Martha Johanne Abigael Kinck (1861–1908). Faren var professor i geologi og mineralogi ved det nystartede NTH fra 1911 til 1929. Broren Thorolf Vogt (1888–1958) overtok som professor i 1929. En annen bror Fredrik Vogt (1892–1970) var sjef for vassdragsvesenet, men ble professor i mekanikk ved NTH i 1931. Jørgen hadde en tvillingbror Johan Vogt (1900–91) som ble samfunnsøkonom og i 1957 professor i Oslo. Søstera Margit Vogt (1897–1975) var frem til 1939 gift med motstandsmannen Martin Linge og i 1940 med Odd Havrevold.