Kiedy po wyborach w 2002 Apel Chrześcijańsko-Demokratyczny współtworzył nowy rząd, Jaap de Hoop Scheffer 22 lipca 2002 objął stanowisko ministra spraw zagranicznych w pierwszym gabinecie, którym kierował Jan Peter Balkenende. Pozostał na tym urzędzie również w jego drugim rządzie do 3 grudnia 2003. Wspierał politycznie działania USA w wojnie przeciwko Irakowi, unikając zaangażowania militarnego.