El Palacio fue edificado al lado de la catedral de Teobaldo (antes iglesia) e, inicialmente, fue un conjunto de construcciones modestas para convertirse, más tarde, en un gran palacio con arquitectura románica y renacentista.