Etter hans uttreden fra regjeringen i 1921 fortsatte han likevel å arbeide på vegne av regjeringen. I 1922 ble han Tysklands utenriksminister i Wirths andre regjering. I de knappe seks månedene lyktes det Rathenau å få Tyskland ut av den utenrikspolitiske isolasjon landet var kommet i. Under konferansen i Cannes fikk han utsettelser med betalingen av krigserstatningen til de seirende parter, avtalt i Versaillestraktaten. Under konferansen i Genova undertegnet han Rapalloavtalen som skapte likeverdighet mellom Tyskland og Sovjetunionen. Hans forsøk på å skape minnelighet møtte imidlertid motstand hjemme.