Nach dem Einmarsch der Franzosen im Jahr 1798 kam die Familie in Schwierigkeiten. Zwar war Frédéric de Diesbach de Torny für Frankreich als Feldmarschall aktiv, doch mehrere Familienmitglieder hatten sich im 18. Jahrhundert auch in österreichischen Dienst begeben. François de Diesbach de Torny (1739–1811) wurde sogar als Parteigänger Österreichs verhaftet und im Schloss Chillon inhaftiert. Zudem wurde die Vogtei Romont aufgelöst und Torny-le-Grand wechselte binnen 50 Jahren etliche Male die Verwaltungseinheit (1798 Payern, 1803 Romont, 1815 Montagny, 1830 Dompierre, 1848 Glâne). François de Diesbach de Torny, vormals Staatsrat, gelang allerdings der Wiedereinstieg ins politische Geschäft und er wurde im Jahr 1803 Präfekt von Freiburg. Auch Joseph de Diesbach de Torny spielte später eine wichtige Rolle, als er im Jahr 1830 in der Freiburger Revolution schlichtend wirkte. Im Besitz der Familie blieb das Schloss bis zum Jahr 1892.