Som medlem av det konservative partiet Union pour un mouvement populaire (UMP) ble han arbeidsminister i Jean-Pierre Raffarins regjering i 2002, og gjennomførte reformer som innføringen av 35-timers arbeidsuke og reformen av det franske pensjonssystemet (). Han ble utdannings- og forskningsminister i 2004. I 2005 var han ikke inkludert i den nye regjeringen, ledet av Dominique de Villepin, men ble valgt til senator i Sarthe. Fillons hadde en viktig rolle som politisk rådgiver under Nicolas Sarkozys vellykkede valgkamp om presidentembetet.