Urodził się w Weimarze, był synem reżysera teatralnego, rotmistrza, kirasjera gwardii, szambelana, generalnego intendenta słynnego teatru w Weimarze, Carla Baily’a Norissa von Schiracha (1873–1948). Poprzez matkę, Emmę Middleton Lynah Tillou (1872–1944), córkę amerykańskiego adwokata, był potomkiem dwóch ojców założycieli Stanów Zjednoczonych (sygnatariuszy Deklaracji niepodległości Stanów Zjednoczonych) – Thomasa Heywarda Jr. oraz Arthura Middletona. Język angielski był jego pierwszym językiem, który rozumiał i do wieku pięciu lat nie potrafił mówić po niemiecku.