Im Jahr 1467 erlangte Freiburg die Herrschaft als Pfand und nach den Burgunderkriegen und der Plünderung der Burg nach der Schlacht bei Murten im Jahr 1476 auch endgültig die Kontrolle. Es verwandelte die savoyische Kastlanei, die 1478 käuflich erworben wurde, in eine freiburgische Vogtei, doch brannte deren Sitz im Jahr 1504 ab, so dass ab 1509 ein neues Vogteischloss entstand, das 1752 restauriert wurde. Die Burg- und Schlosskapelle wurde kurz darauf in die 1760 neu errichtete Kirche von Montagny-les-Monts integriert, indem ihr gotischer Chor aus dem 14. Jahrhundert beibehalten und zur Kirche mit Schiff und Turm ergänzt wurde. Ihre Ersterwähnung geschah im 13. Jahrhundert. Nach dem Einmarsch der Franzosen im Jahr 1798 wurde die Vogtei aufgehoben und Montagny-les-Monts gehörte sodann zu verschiedenen Bezirken (1798–1803 Bezirk Payerne, 1803–1831 Bezirk Montagny, 1831–1848 Bezirk Dompierre), bis es im Jahr 1848 zum Broyebezirk kam. Der damit einhergehende Bedeutungsverlust führte auch zum endgültigen Aus für die Burg, denn diese wurde im Jahr 1802 an einen Einheimischen verkauft, der sie als Steinbruch verwendete. Übrig blieben letztlich nur der Turm aus dem 13. Jahrhundert sowie einige der Grundmauern, obwohl sich bereits im Jahr 1827 mit dem General () und späteren Baron Nicolas de Gady ein neuer Käufer gefunden hatte, der hier bis 1840 lebte.