En 1529 los señores de Alcaudete, con el título de Condes, reforman el castillo y lo acomodan para residencia suya y albergue de los huéspedes que en él reciben.