Im Jahr 1472 wandelte das Haus Savoyen die Herrschaft in eine Kastlanei um, die als Lehen im Jahr 1488 an Franz von Greyerz kam. Zuvor war die Burg allerdings in den Burgunderkriegen nach der Schlacht bei Murten im Jahr 1476 durch die Freiburger zerstört worden, da Surpierre Jakob von Savoyen, Graf von Romont, und damit einem der Hauptverbündeten von Karl dem Kühnen gehörte. Es kam aber zum Wiederaufbau durch die Savoyer. Im Jahr 1513 gelangte Surpierre wieder direkt an das Haus Savoyen. Während der Eroberung der Waadt am 21. Februar 1536 besetzte Bern auch Surpierre und trat es eine Woche später an Freiburg ab, das die Kastlanei in eine freiburgische Vogtei umwandelte, zu der nun Villeneuve, Praratoud, Chapelle, Cheiry und Ménières gehörten. Im Jahr 1539 brannte die Burg durch Brandstiftung ab und wurde wieder aufgebaut, weshalb ihr heutiges Erscheinungsbild wesentlich vom 16. Jahrhundert geprägt ist. Nach dem Einmarsch der Franzosen im Jahr 1798 wurde die Vogtei aufgehoben und die Gemeinde gehörte fortan zum Distrikt Estavayer, wobei die Burg der Sitz des Präfekten war. Genau 50 Jahre später entstand der Broyebezirk und der Sitz des Präfekten war fortan das Schloss Chenaux. Im Jahr 1850 wurde das ehemalige Vogteischloss durch den Kanton an den Kaufmann Victor-Henri Leenhardt verkauft, seitdem hat es mehrfach den Besitzer gewechselt.