Das Gebäude des Kulturzentrums war die erste Villa, die in den Jahren 1883 bis 1886 außerhalb der Stadtmauern errichtet wurde. Die Archivunterlagen der Stadt Manosque lassen keine Rückschlüsse auf das genaue Datum mehr zu. Es ist aber ein Nachbarschaftskonflikt über einen stinkenden Misthaufen aktenkundig, der vom Erbauer des Hauses ausgelöst wurde. Vorher gab es auf dem Gelände Gärten und Ställe. Bauherr und Eigentümer war Jean de Raffin (1742–1826), zur Erbauungszeit der Villa Bürgermeister der Stadt, ehemaliger Kavallerieoffizier und Teilnehmer der Schlacht bei Minden, wo er sein Pferd verlor, und aller anderer militärischer Auseinandersetzungen während des Siebenjährigen Krieges. Nach Kriegsende hatte er keine Möglichkeiten mehr, beim Militär Karriere zu machen. So schied er im Rang eines Kornett vom Militärdienst aus und kehrte in seine Vaterstadt zurück. In seinen unterschiedlichen politischen Ämtern erreichte er in mehreren Gremien schnell gute Stellungen und galt als einflussreich.