Lo mandó construir Don Diego de los Cobos, obispo de Jaén, como hospital para pobres enfermos, al mismo tiempo que iglesia-panteón y palacio.