Beltrán de la Cueva entró en el señorío de Cuéllar el 24 de diciembre de 1464, y al año siguiente, comenzó a remodelar el edificio, antigua fortaleza de Álvaro de Luna, para convertirlo en un castillo-palacio, donde fijó su residencia y corte.