Grafström etterfulgte i 1948 Gunnar Hägglöf som FN-ambassadør og innehadde denne stillingen til 1952. I løpet av denne tiden skaffet han seg meget gode forbindelser og en sterk personlig stilling i utenrikspolitikken. Tross de gode innsatsene fant regjeringen Erlander det viktig å erstatte ham med diplomaten Oscar Thorsing, som var mer lojal overfor sosialdemokratiet. Etter tiden i FN fikk Grafström en bortgjemt og ubetydelig post som envoyé i Mexico, noe som ifølge Erik Boheman berodde på at han gikk imot utenriksminister Östen Undén, da han anså at Sverige burde være solidarisk FN kineserne i Korea.