Su construcción fue iniciada en la segunda mitad del siglo XV con el objetivo de convertirse en la residencia de los condes de Belalcázar, señores feudales del territorio en aquella época.