Schirach byl synem poručíka a velitele eskadrony jezdeckého regimentu Garde-Kürassier-Regiment a později kapitána a velkovévody saské komory Karla Bailyho Norrise von Schirach (1873–1949), 1909–1918 ředitele Národního divadla ve Weimar, 1935–1943 ředitele Státního divadla ve Wiesbaden a jeho americké manželky Emmy Middleton Lynah Tillouové (1872–1944). Jeho matka pocházela z rodu dvou signatářů deklarace nezávislosti Spojených států.