Nach dem Tod des letzten Vertreters des Hauses Genève-Lullin im Jahr 1664 ging die Anlage an eine andere Familienlinie über: Erbe wurde Claude-Alexandre de Fauchier, Baron de l’Etoile. Sein Sohn François-Emmanuel verkaufte die zerbröckelnde Festung 19 Jahre später an Jacques de Loys, den Herrn von Bonnevaux und Eigentümer des nahen Weilers "Merlinge". Er ließ das Anwesen allerdings weiter verfallen. Der Adelige François Carron erbte es 1793, wurde jedoch nach dem «Franzoseneinfall» von 1798 enteignet. Der Staat verpachtete das Gelände fortan, wobei die ehemalige Burg nur noch als Steinbruch diente. Fragmente wurden vor allem in der unmittelbaren Nachbarschaft verbaut.