Bauer ble født 16. juli 1903 inn i en liberal og velstående jødisk familie i Stuttgart, der faren drev en grossistforretning i tekstilbransjen. Bauer hadde en tre år yngre søster, Margot. Han gikk fra 1912 til 1921 på skole i Stuttgart, og meldte seg i 1920 inn i SPD der han var leder for den sosialdemokratiske studentforeningen. Han studerte jus i Heidelberg, München og Tübingen.