La leyenda popular mantiene que se trataba de una mina de comunicación, con el nombre de "Túnel de Iscar", y que, según ésta, unía ambos castillos, y tiene origen en la novela "Sancho Saldaña" o "El Castellano de Cuéllar", escrita por Espronceda durante su destierro en Cuéllar, en la que habla de varios pasadizos secretos que poseía el castillo.