En el último tercio del siglo XVI el castillo se convirtió en una fortaleza señorial del Marqués de Los Vélez, entonces señor de Alhama.