Louis Ange Aimé de Rosmorduc emigrierte während der Französischen Revolution, kehrte aber zurück und wurde ein Anführer der republikfeindlichen Chouans. Sein Schloss wurde konfisziert und als Nationalgut am 1. Thermidor des Jahres II (19. Juli 1794) für 46.000 Livres an den Architekten und Unternehmer Louis Derrien aus Quimper verkauft. Dessen Tochter veräußerte es 1847 an Alour Arnoult, einen reichen Notar aus Pont-l’Abbé. Er veränderte das Gebäude sowohl innen als auch außen. Arnoults Tochter Noémie heiratete Joseph Astor, den späteren Bürgermeister von Quimper, und das Paar nahm seinen Wohnsitz auf Kerazan. Während des Zweiten Empires veränderten die Astors das Gebäude erneut. So wurden zum Beispiel die Lukarnen des 18. Jahrhunderts durch neuere ersetzt. Joseph Astor war sehr kunstinteressiert. Zusammen mit dem Maler Alfred Beau organisierte er den Aufbau eines regionalen Museums der schönen Künste in Quimper, das 1872 Eröffnung feierte und vor allem regionale bretonische Kunst zeigte. Zur gleichen Zeit begann er damit, in Kerazan eine Sammlung von Gemälden aufzubauen. Sein Sohn Joseph Georges baute die Kunstsammlung nach dem Tod des Vaters 1901 weiter aus. In den Jahren 1912 bis 1913 ließ er das Schloss vergrößern, indem er dem Logis an dessen Nordseite einen Pavillonbau und einen Treppenturm anfügen ließ. Bei seinem kinderlosen Tod 1928 vermachte er den Besitz dem Institut français, mit der Bedingung, dass dort eine Stickschule für Mädchen und ein Museum eingerichtet würden. Die Schule wurde mittlerweile geschlossen, aber das Museum existiert noch heute.