Nada se conoce acerca de la estructura que mostraba en esa época, y fue necesario que pasara un siglo para volver a tener constancia del edificio, pues no fue hasta 1403 cuando el infante Fernando de Antequera, señor de Cuéllar, otorgó una licencia al concejo de Cuéllar para reparar los muros y el castillo, cuyos gastos ascendieron a 30.000 maravedíes que abonaron los vecinos de Cuéllar y su Tierra.