Op elfjarige leeftijd moest Baer zijn toenmalige school verlaten vanwege zijn Joodse afkomst. Hij werd overgeplaatst naar een volledig Joodse school, zijn vader werkte destijds in een schoenenfabriek in Pirmasens. Twee maanden voor de Kristallnacht vluchtten Baer en zijn familie naar de Verenigde Staten. Daar ging hij aan de slag in een fabriek waar hij een wekelijks loon van 12 dollar verdiende. In 1940 studeerde hij als onderhoudstechnicus af, nadat hij zijn opleiding bij het National Radio Institute had voltooid. Negen jaar later studeerde hij af met een Bachelor of Science in televisietechniek bij het American Television Institute of Technology in Chicago.