Los señores, que tenían distintas propiedades urbanas en la localidad, empezaron a utilizar la que se hallaba en la plaza de Palacio, presumiblemente desde finales del siglo XVI.