Han var født i Vang i Hedmark, sønn av Johan Herman Lie Vogt (1858–1932) og Martha Johanne Abigael Kinck. Faren var professor i metallurgi i Oslo da Thorolf ble født, senere professor i geologi og mineralogi ved det nystartede Norges tekniske høyskole (NTH) fra 1911 til 1929. Broren Fredrik Vogt (1892–1970) var generaldirektør for Norges vassdrags- og elektrisitetsvesen, tidligere professor i mekanikk og rektor ved NTH i 1930- og 40-årene. Enda yngre brødre var tvillingene Johan Vogt (1900–1991) som ble samfunnsøkonom og i 1957 professor i Oslo og kommunisten Jørgen Vogt (1900–1972).