Fue construido en el año 1107, en tiempos de Ben Yusuf, y reformado en 1572-1573 por el arquitecto Benvenuto Tortello, bajo el mandato del Francisco Zapata y Cisneros, I conde de Barajas, que entonces ejercía el cargo de .