Fue mandado construir en 1501 por Díaz o Día Sánchez de Quesada III, VI señor de Garcíez y cuyo mayorazgo comprendía la dehesa de la Torre de don Ibáñez, Nínchez y Chozas (Baeza) y las casas de Baeza. Estuvo al servicio de los Reyes Católicos, ocupando cargos como Corregidor de Segovia, pesquisidor de la villa de Alcaraz y Corregidor en la merindad de Transmiera, Madrid y poblaciones de las Cuatro Villas. Pertenecía a un importante linaje radicado en Baeza y falleció en 1507 en Zamora. Casó con Leonor de Acuña, hija de Luis de Acuña, Comendador y Trece de la Orden de Santiago. Ésta fue hecha rehén para facilitar el fin del cautiverio de su tío del Obispo Alonso Vázquez de Acuña de su encierro en el castillo de Begíjar por Pedro Girón a consecuencia de la lucha de bandos en Baeza por la guerra civil castellana y durante las ausencias de Día Sánchez de Quesada fue quien administró el señorío.El edificio ha tenido una gran importancia para la colectividad de Garcíez, tanto a nivel económico y social, que trasciende la propia historia del señorío y sus sucesivos propietarios, como en la configuración urbanística de la localidad.