Ollenhauer reiste i februar 1946 tilbake til Tyskland, og ble sekretær for SPDs partikontor i Hannover under Kurt Schumacher. Samme år ble han valgt til viseformann. Under Schumachers regelmessige sykdom ledet han partiet. Ollenhauer var fra 1948 medlem av det parlamentariske råd og i 1949 ble han innvalgt i det tyske parlamentet, hvor han frem til 1952 var viseformann for SPD-fraksjonen. Han ble etter Schumachers død valgt til partiformann og fraksjonsleder den 7. oktober 1952. Samtidig ble han bekreftet i stillingen som generalsekretær. Selv om han selv ikke var karismatisk nok arbeidet han i kulissene for å omdanne SPD fra et arbeiderparti til et sentrumsorientert folkeparti.