Algunos historiadores musulmanes afirman que fue el rey de taifas bereber, Badis ben Habús, quien ordenó construir la Alcazaba, usando para su embellecimiento mármoles, columnas y estatuas del teatro romano adyacente, pero estudios ponen en tela de juicio esta afirmación ya que existen indicios que plantean que en vez de una labor de construcción, se trató de una restauración de un antiguo recinto amurallado de origen fenicio-púnico.