I 1994 ble han innvalgt i den nederlandske nasjonalforsamlingen, der han i 2002 ble parlamentarisk leder for CDA. I februar 2007 fikk han plass i Jan Peter Balkenendes regjering og ble utenriksminister. Mot slutten av denne regjeringens periode var Verhagen i kort tid også minister for utviklingssamarbeid.