Pentru alegerile din 2002 De Hoop Scheffer se retrage de la șefia partidului și este urmat de Jan Peter Balkenende. În urma alegerilor din 15 mai 2002 Balkenende devine prim-ministru iar De Hoop Scheffer este numit ministru al afacerilor externe în primul cabinet Balkenende și în cel de-al doilea de după alegerile anticipate din 22 ianuarie 2003. În calitate de ministru de externe, a participat la decizia de susținere a Invaziei Irakului din 2003, Țările de Jos participând până în 2005 cu 1100 de militari staționați în provincia Al Muthanna, doi dintre ei fiind uciși în această perioadă. În 2003, în timpul președenției Țărilor de Jos, Jaap de Hoop Scheffer a fost președintele Organizației pentru Securitate și Cooperare în Europa