Felipe II aún príncipe vivió en el Palacio Real de la ciudad su primer matrimonio con María Manuela de Portugal y el nacimiento de su primogénito Carlos.