Шырах нарадзіўся ў Берліне і быў малодшым з 4-ох дзяцей тэатральнага рэжысёра Карла Бялы фон Шыраха і яго амерыканскай жонкі Эмы Мідлтан Ліны Цілоу. Бальдур паходзіў на чвэрць са знатнага заходнеславянскага роду, а на тры чвэрці быў амерыканцам, паходжаннем з Філадэльфіі. Па лініі маці ц продкі Шыраха паставілі свае подпісы пад Дэкларацыяй незалежнасці ЗША. Ангельская мова была яго першай мовай, па-нямецку Бальдур не мог раўмаўляць да 5-ці гадоў. У хлопца былі дзве сястры: Вікторыя і Разаліна, а таксама брат — Карл Бенедзікт, які здзейсніў самагубства ў 1919 годзе ва ўзросце 19 гадоў.