Se tiene por leyenda que en este castillo se refugiaron los infantes de Carrión.