Edificado sobre vestigios romanos durante el siglo XIII, al pie de la vertiente norte de la montaña Sainte-Victoire, el castillo fue propiedad de los condes de Provenza y a partir de 1257, del arzobispado de Aix-en-Provence, cuyo líder en ese momento era Vicedomino de Vicedominis. En 1473 la propiedad pasó del arzobispado al famoso rey Renato, quien donará el castillo y sus tierras dos años más tarde a su médico personal, Pierre Robin de Angers. La finca, a través del matrimonio de François de Clapiers con Marguerite de Séguirand en 1548, pertenecerá durante dos siglos y medio a la familia Clapiers. Entre el 1643 y 1667, mientras se remodelaban las murallas exteriores, se aprovechó para transformar íntegramente la fortaleza y convertirla en una mansión. Dos años después de la gran epidemia de peste de 1720, para agradecer a Joseph de Clapiers, cónsul de Aix, y su devoción durante el contagio que diezmó la población, el rey Luis XV convierte sus tierras en marquesado.