Han ble 22. november utnevnt som utenriksminister i regjeringen Cuno. Regjeringen gikk av i august 1923 og von Rosenberg ble i 1924 sendemann i Stockholm. Han var fra 1933 til 1935 ambassadør i Ankara.