Al fallecer Jacques III de Goyon y de Matignon el 14 de enero de 1725 la construcción fue heredada por su hijo (Jacques IV de Goyon) el cual se casó con Luisa Hipólita de Mónaco, convirtiéndose así en Príncipe de Mónaco y transmitiendo el edificio a los descendientes de dicha casa principesca.