La construcción del palacio responde a una iniciativa de Álvaro de Luna (1390-1453), condestable de Castilla y favorito del rey Juan II de Castilla, que lo utilizaba como residencia veraniega.