Im Verlauf des 17. Jahrhunderts zogen die Barone von Vitré an den Hof von Versailles, der zu der Zeit in Mode war. Die Stadt verlor ihre Bekanntheit und wurde innerhalb der Stadtmauern zu einer etwas verschlafenen Stadt inmitten einer aktiven Landschaft. Sie brach die Verbindungen zur angrenzenden Landbevölkerung, die sie mit Hanf und Flachs versorgte. So begann der Abstieg von Vitré, sowohl ökonomisch als auch städtisch. Diese Situation spitzte sich vor allem im 18. Jahrhundert zu. Es gibt folglich wenige Bauten in dieser Epoche, mit Ausnahme einiger religiöser Gebäude, wie des Augustiner-Konvents (1620), des Augustiner-Konvents (1675) oder noch einiger Stadtpaläste wie dem "Hôtel Sévigné". Es wurde im 18. Jahrhundert auf den alten Stadtmauern gebaut, wo sich in einem Turm ein Appartement von Mme de Sévigné befand. Dieser Stadtpalast wurde dem "Parlement de Bretagne" nachempfunden. Diese Situation dauerte das ganze 18. Jahrhundert und bis zum Bau der Eisenbahn Mitte des 19. Jahrhunderts. Von 1793 bis 1804 dauerte der bewaffnete bäuerliche Widerstand ("Chouannerie"), der das Ende der Herrschaft von Vitré und den Anfang eines neuen und wichtigen Status für die Stadt bedeutete: die Rolle als Unterpräfektur.