En 1743, à la mort de Pierre Charles Louis Boucher, Pierre Grimod du Fort, fermier général et intendant des Postes acheta le domaine, il réaménagea la ville, restructura le centre. Son fils, Pierre Gaspard Marie Grimod d'Orsay poursuivit les travaux et fut titré comte d’Orsay. En 1790, la Révolution permit à Orsay de devenir une commune, dans le district de Palaiseau et le département de Seine-et-Oise et à madame Hulot d’acquérir le château. Le général Moreau possédait le château après 1791. En 1801, Madame Hulot fit bâtir le Temple de la Gloire, en l’honneur de son gendre, le général Moreau pour célébrer sa victoire à Hohenlinden et la paix retrouvée en Europe.