Schirach era hijo de Karl von Schirach, teniente primero y jefe de escuadrón en el Regimiento de coraceros de la Guardia, más tarde capitán de caballería y chambelán del Ducado de Sajonia-Weimar-Eisenach, así como director artístico en el Teatro Nacional de Weimar, y de su esposa estadounidense Emma Lynah Bailey Middleton (1872-1944), por lo cual Schirach afirmaba ser descendiente de dos firmantes de la Declaración de Independencia de los Estados Unidos.