Im August 1997 folgte er John Kornblum als Assistant Secretary of State für Angelegenheiten Europas unter US-Präsident Bill Clinton, von 2000 bis 2001 leitete er als "Director General" den United States Foreign Service. Zuletzt war Grossman unter US-Präsident George W. Bush von März 2001 bis Februar 2005 als Under Secretary of State für politische Angelegenheiten, dem dritthöchsten Posten im US-Außenministerium, tätig. In diesem Amt leitete Grossman eine Woche vor den Anschlägen des 11. Septembers 2001 im Pentagon die Gespräche zwischen dem Direktor des pakistanischen Geheimdienstes ISI, Generalleutnant Mahmud Ahmed, dem National Security Council und CIA-Direktor George Tenet. Während seiner Zeit als Unterstaatssekretär kam es im Umfeld des Irak-Krieges 2003/5 zur „Plame-Affäre“: Der Diplomat Joseph C. Wilson hatte die Bush-Regierung beim Lügen über den Irak erwischt und daraufhin hatte jemand aus dem Weißen Haus seine Frau, Valerie Plame Wilson, die als CIA-Agentin arbeitete, in der Öffentlichkeit als Geheimdienstmitarbeiterin enttarnt. Die eigentliche Affäre lag darin, dass der Verrat ihrer Geheimdiensttätigkeit ein schweres kriminelles Vergehen darstellte. Die Wilsons wurden zu Symbolfiguren für den Protest gegen die kriegslüsterne Bush-Politik. Lewis Libby, Stabschef von Vizepräsident Dick Cheney, wurde unter anderem wegen Meineids und Behinderung der Justiz verhaftet. Weitere Beschuldigte waren Dick Cheney und Karl Rove, einer der wichtigsten Berater Bushs. Nach Angaben des ermittelnden Staatsanwalts Patrick Fitzgerald erfuhr Libby durch Grossman von Plames CIA-Agententätigkeit.