Inútil ya el Castillo, el bailío de Olmos trasladó su residencia y construyó un palacio en la vecina villa de El viso, cabeza de la Encomienda Magistral a la que estaban sujetos los pueblos y territorios de El Viso, Carranque y Palomeque .