El origen del Palacio probablemente sea musulmán y esta fortaleza podría haber sido usada por los birzalíes para poner en jaque a la Taifa de Sevilla.