La decisión de edificar el palacio puede que fuera consecuencia del saqueo de la población en 1521, durante la guerra de las Germanías, por parte de tropas de agermanados.