Rosen ble i 1921 utnevnt som utenriksminister i Wirths første regjering. Da han selv ikke hadde noen sympati for det parlamentariske demokrati, fikk han ingen særlig innflytelse, men ble stående i skyggen av Wirth og Rathenau. Den 25. august 1921 undertegnet Rosen og den amerikanske representant Ellis Loring Dresel, fredsavtalen med USA. Rosen gikk ut av regjeringen 22. oktober 1921 som følge av delingen av Schlesien, og var deretter ikke lenger aktiv i politikken.