Más tarde el edificio se convirtió en posesión de los Saboya-Acaya, una rama secundaria de la Casa de Saboya; a principios del siglo XIV, lo ampliaron para hacer de él un castillo.