Cuando Lucena dejó de ser frontera con el reino nazarí de Granada, el castillo perdió su carácter militar pasando a ser residencia de los señores de Lucena, que más tarde serían también, además de marqueses de Comares, duques de Cardona y de Medinaceli.