Etter at Heinrich von Brentano di Tremezzo gikk ut av regjeringen ble Schröder den 14. november 1961 utnevnt til hans etterfølger som utenriksminister. Denne ministerposten beholdt han også i Ludwig Erhards regjering. Schröder ble som utenriksminister regnet som atlantisk orientert og gikk inn for tett samarbeid med USA. I motsetning til dette stod Adenauers orientering i retning Frankrike. Det har blitt antatt at Adenauer tidvis anså Schröder som en mulig etterfølger, men trakk sin støtte på grunn av disse meningsforskjellene.