I 1920 begynte han etter landgreve Alexander Friedrichs anbefaling å studere ved Darmstadt Technische Hochschule, mens broren Hans ble rektor ved musikkskolen i Mainz. Etter Darmstadt studerte Rosbaud ved Kaiser Wilhelm-instituttet i Dahlem, Berlin, og gjorde der pionerarbeid innenfor røntgenfotografering. I Dahlem ble han venn med kjernefysiker Lise Meitner, også hun østerrikere. Ved institutt for fysisk kjemi var på den tiden blant andre Michael Polanyi og Hermann Mark ansatt. Rosbaud beveget seg i samme fagmiljø som Polanyi og fysikkprofessor Max Planck. Etter et opphold i Königsberg tok han doktorgraden ved Berlin-Charlottenburg Technische Hochshule.