Baum entstammt einer bildungsbürgerlichen Familie; bereits sein Großvater und sein Vater waren Rechtsanwälte. Seine Mutter war Russin; im Revolutionsjahr 1917 floh ihre Familie aus Moskau. Nach der Bombardierung Dresdens in der Nacht vom 13. auf den 14. Februar 1945 floh seine Mutter mit ihren drei Kindern – der zwölfjährige Gerhart und seine sechsjährigen Zwillingsgeschwister – zunächst an den Tegernsee, wo er das Gymnasium Tegernsee besuchte. Prägender politischer Mentor wurde dort sein Lehrer Adolf Grote. 1950 zogen sie nach Köln um. Der Vater starb in sowjetischer Kriegsgefangenschaft.