Existen una serie de leyendas en torno a esta construcción, una de ellas relacionando este edificio con la presencia de doña Ana de Mendoza y de la Cerda, Princesa de Éboli, que según la tradición, estuvo confinada en Castro del Río y sufrió prisión en esta mansión.