Schirach è figlio del commerciante di Monaco Robert von Schirach (1938–1980) e nipote in linea diretta dell'ex capo della Gioventù hitleriana ("Reichsjugendführung") e successivamente "Gauleiter" del "Reichsgau" di Vienna (1940), Baldur von Schirach e della di lui consorte, la scrittrice Henriette von Schirach. Uno dei suoi antenati fu il fotografo di Hitler, Heinrich Hoffmann; un altro suo antenato fu il Sovrintendente del Teatro Nazionale di Weimar e di quello di Wiesbaden Carl von Schirach e attraverso la moglie di quest'ultimo, Emma Lynah Tillou Bailey Middleton von Schirach, ebbe come antenato Arthur Middleton, uno dei firmatari della "Dichiarazione d'indipendenza degli Stati Uniti d'America". Un altro dei suoi antenati fu lo storico e scrittore Gottlob Benedikt von Schirach, fondatore nel 1781 della rivista "Politisches Journal nebst Anzeige von gelehrten und andern Sachen" (Giornale politico oltre ad annunci di cose dotte e altro), una delle prime pubblicazioni periodiche in Europa.