Tønne Huitfeldt var sønn av Anine With og Carl Huitfeldt. Hans far var redaktør og eier av Bladkompaniet. I 1940 var hans mor og far i Paris der faren var presseattache ved den norske ambassaden. Huitfeldt og hans bror ble med hjelp av det Internasjonale Røde kors sendt til Sveits der han bodde sammen med sin mor fram til 1941 før de flyttet til Storbritannia.