I 1951 ble han medlem av Den europeiske kull- og stålunions forsamling, men la ned vervet på grunn av sitt kanslerkandidatur i 1953. Ved valget i 1953 fikk SPD bare 28,8 % av stemmene, partiets dårligste resultat til dags dato. Selv om partiet støttet den CDU-ledete Adenauer-regjeringen i viktige saker som krigsofferforsørgelse, pensjonsreform og i kull- og stålunionssamarbeidet, var Ollenhauers fortsettelse av prøysseren Schumachers utenrikspolitikk det mest sentrale i offentlig diskusjon: Nei til vestintegrasjon, ja til gjenforening. Dette standpunktet ble imidlertid stadig mer upopulært under .