Cuando Pedro Fajardo se instaló en Vélez-Blanco, fijó allí la sede de su nuevo señorío y emprendió la construcción de su castillo-palacio sobre los restos de una antigua e importante alcazaba islámica que se levantaba en el cerro que domina la villa.