Ya antes de la llegada al poder de los Gonzaga estaban edificados los primeros núcleos del Palacio, aunque la historia del complejo se identifica sobre todo con la de la familia que gobernó la ciudad hasta 1707.