Con la muerte de Carlos Manuel I de Saboya en 1620, comenzó a surgir la verdadera evolución del palacio, el cual en tiempos del Gran Duque había sufrido modificaciones menores, entre ellas un oratorio circular interno.