Poco se salvó de esta residencia anterior al siglo XVI, aunque debía ser lujosa, puesto que Manuel Filiberto de Saboya, cuando decidió transferir la sede ducal de Chambéry a Turín, en 1562, lo escogió como su resicencia personal, expropiando a su legítimo propietario, después de haber pasado algunos años en el vecino "Palazzo Madama e Casaforte degli Acaja", el cual no reunía entonces condiciones suficientes para ser elevado a funciones de corte.