Fillons foreldre er historikeren Anne Soulet (niese av Dominique de Villepin) og Michel Fillon, notarius fra Vendée. Han vokste opp med tre brødre i småbyen Cérans-Foulletourte, der han gikk på skolen frem til tolvårsalderen, hvorpå han gikk på collège i Parigné-le-Pôlin og et gymnas i Le Mans ledet av jesuittene. I 1972 tok han kandidateksamen i filosofi, hvorpå han studerte ved Université du Maine under Christian Philip. Han tok en magistereksamen i jus i 1976 og året etter et diplôme d'études approfondies (DEA) ved Université Paris-Descartes i Paris og en DEA i statsvitenskap ved Fondation nationale des sciences politiques.