El origen del castillo actual se sitúa cuando Pedro Fajardo y Chacón, adelantado del reino de Murcia y Marqués de los Vélez, es humillado en 1520 al alzarse los muleños en comunidad, haciéndole jurar los privilegios que Fernando III dio a la villa tras su reconquista en 1244.