Álvaro de Luna, privado del rey Juan II de Castilla lo engrandeció y construyó el palacio, convirtiéndolo en el centro de sus posesiones.