Han var utdannet cand.jur. fra 1921, og ble i 1930-årene anerkjent som ekspert på folkerett. Fra 1939 var han dansk legasjonsråd i London. I 1942 sluttet han seg til Det danske råd i samme by. Han var partiløs utenriksminister i Knud Kristensens regjering og i Hans Hedtofts første regjering 1945–1950. At Hedtoft så å si overtok ham fra Kristensen, skyldes hovedsakelig at Socialdemokratiet manglet opplagte kandidater til posten. Hedtofts ønskekandidat, Hartvig Frisch, ødela sine muligheter til å bli utenriksminister, da han sommeren 1945 uttalte at angiverlikvideringene i den siste del av okkupasjonen hadde vært mord. Rasmussen var en sterk tilhenger av transatlantisk samarbeid, og var en pådriver for Danmarks inntreden i NATO i 1949. Han var senere ambassadør i Roma 1951–1953.