A finales de la Edad Media la alquería-fortaleza de Buxexat, evolucionó hacia formas más modernas, con aspecto de pequeño palacio, habitado por señores de a Villa, los Obispos de la Diócesis, primero con Sede en Baeza, más tarde trasladada a Jaén.