Je synem sinologa Richarda von Schiracha a vnukem Baldura von Schiracha, bývalého člena NSDAP, který byl souzen po druhé světové válce v rámci tzv. Norimberských procesů. Jeho sestrou je filozofka Ariadne von Schirach (* 1978), bratrancem pak právník a spisovatel Ferdinand von Schirach (* 1964).