In den Burgunderkriegen sollen eidgenössische Truppen hier 1476 geplündert und die Burg schwer beschädigt haben, bei der Eroberung der Waadt im Rahmen der Italienischen Kriege eroberte Bern 1536 auch Rue und trat es an Freiburg ab. Dieses verwandelte die Kastlanei in eine freiburgische Vogtei, welche bis zum Einmarsch der Franzosen im Jahr 1798 bestand, zog aber 1538 die Meierei an sich. Bis zum Jahr 1848 war das Schloss Sitz der Präfektur des Bezirks sowie des Gefängnisses, dann verlor es diese Verwaltungseinrichtungen und im Jahr 1856 wurde das Schloss vom Kanton an Privatpersonen verkauft. Zu diesen späteren Besitzern gehörte die Familie Ferber, deren Mitglied Ferdinand Ferber als Flugpionier bei Wettbewerben das Pseudonym «F. de Rue» benutzte und der im Jahr 1898 vom Schloss aus einen Flugversuch unternahm.