El 30 de marzo del 2004 Raffarin y Chirac lo nombraron ministro de Educación Nacional, Enseñanza Superior e Investigación; dejando el puesto el 31 de mayo del 2005, cuando Dominique de Villepin fue nombrado primer ministro y este decidió no incluirlo en su Gobierno (lo que originó la enemistad y la rivalidad política entre Fillon y Villepin, que fue uno de los factores para que Fillon se uniera a la campaña de Sarkozy).