La Casa de Saboya adquirió Rivoli en el siglo XI, y pronto comenzó una disputa con los obispos que ya en 1184 provocó daños en el castillo.