Aunque la leyenda lo sitúa como residencia de los reyes de la Taifa de Ronda, los datos históricos relatan que es un palacio de origen andalusí, donde en el siglo XIV residió el rey benimerí Abd al Malik, hijo del sultán de Marruecos Abu al-Hasan 'Ali.