Baer syntyi vuonna 1922 Saksassa juutalaiseen perheeseen. Baer joutui 13-vuotiaana lopettamaan koulunkäynnin Nürnbergin lakien takia, mutta hän yritti tämän jälkeen vielä opiskella omatoimisesti. Baerit onnistuivat pakenemaan maasta pari kuukautta ennen Kristalliyötä. Perheen äidin sukulaisia oli muuttanut Yhdysvaltoihin 1895, joten he pystyivät muuttamaan maahan.