Erst im Jahr 1457 erwarb François von Greyerz die Herrschaft Oron wieder. Die Burg wurde daraufhin in der 2. Hälfte des 15. Jahrhunderts umgebaut, insbesondere in den Jahren 1475–1485, in denen auch der Donjon wohnlich eingerichtet wurde. Obwohl sich Oron-le-Châtel ab 1536 im Rahmen der Italienischen Kriege zum Zufluchtsort für Katholiken entwickelt hatte, war die Bedingung Berns für die Absicherung der Herrschaft für Jean von Greyerz im Jahr 1539, dass seine Untertanen zum „neuen Glauben“ übertreten. Als die Grafenfamilie bankrottging, fiel die Oron im Jahr 1555 an den Kanton Obwalden, also einen der Gläubiger des Michael von Greyerz (). Ein Jahr später kaufte Hans Steiger die Herrschaft und verkaufte sie dann an die Stadt Bern weiter, die das Schloss im Jahr 1557 zum Sitz einer Landvogtei dritter Klasse machte. Insgesamt 43 Vögte residierten hier. Daher erfolgten weitere Umbauten, insbesondere der Wohntrakte. Die Merian-Ansicht von 1654 zeigt die Anlage im Wesentlichen in ihrer heutigen Gestalt. Der Einmarsch der Franzosen beendete die Vogtei-Nutzung im Jahr 1798 und Oron wurde bis zum Jahr 2006 Teil des Bezirks Oron. Schon im Jahr 1801 erwarb die Familie Roberti aus Moudon das Schloss, und um 1870 Adolphe Gaïffe, so dass es sich mehr als ein Jahrhundert lang in Privatbesitz befand.