Rosenberg var sønn av generalmajor Johann von Rosenberg. Han gikk på Friedrich-Wilhelms-Gymnasium i Berlin, Stadtschule i Wismar, Großherzogliche Gymnasium i Neustrelitz og Wilhelms-Gymnasium i Königsberg. Etter gymaset (abitur) studerte han i Bonn, Genève og ved Humboldt-universitetet i Berlin. I Bonn ble han medlem av studentforeningen Corps Borussia Bonn. Senere var han diplomat i Antwerpen og Berlin. Han var fra 1918 til 1919 leder av politisk avdeling i Tysklands utenriksministerium, fra 1920 til 1921 var han tysk sendeman i Wien og fra 1921 til 1922 tysk sendemann i København.