Baldur von Schirach stamde uit een 'grootburgerlijk', dus hooggecultiveerd en welgesteld milieu. Zijn moeder was Amerikaanse, telg van een Zuidelijke familie, en afstammelinge van twee ondertekenaars van de Amerikaanse Onafhankelijkheidsverklaring. Zijn vader, Carl Baily von Schirach, was ritmeester en theaterdirecteur in Weimar en van aanzienlijke familie. Ook de grootvader van Baldur von Schirach had een Amerikaanse getrouwd.