Grutle er utdannet med mastergrad i sovjetiske studier fra Columbia University i New York. Han gikk i 1978 inn i utenrikstjenesten og har vært stasjonert ved ambassadene i Seoul, Moskva, Tokyo og Helsingfors. Grutle var fra 1999 til 2003 ekspedisjonssjef for multilaterale avdeling i Utenriksdepartementet. I 2005 ledet han departementets interne granskning av håndtering av katastrofen som følge av tsunamien i Asia i desember 2004. Han har også arbeidet i Stortingets administrasjon.