La leyenda cuenta que una vez hubo un gran incendio que era muy difícil de sofocar, y los aldeanos de Castromonte decidieron sacar en procesión a la Vírgen del Rosario, sita en la Iglesia, cantando el rosario por las calles del pueblo.