Med successen i Hamburg blev det dog efterhånden svært for Johansson at se bort fra ham, og han optrådte første gang på A-landsholdet 19. august 1998 i en venskabskamp mod Tjekkiet, og ved slutrunden om EM 2000 var han med på holdet. Da Morten Olsen efter denne slutrunde overtog landstrænerjobbet, fik Gravesen større tillid, og han blev snart en central figur på landsholdet. Det var tilfældet under slutrunderne i VM 2002 og EM 2004. Blandt hans mere spektakulære indsatser var en VM-kvalifikationskamp i 2002 mod Island, hvor Danmark vandt 6-0 på blandt andet to mål af Gravesen.