Flere kilder forteller om en «hvit dame» som vandrer rundt klosteret på kveldstid og om natten. Hun ble utsatt for en forferdelig ulykke med en traktor i 1960, da hun syklet langs veien og en traktor kjørte over henne. Det er usikkert om det var en ulykke siden det var naboen hennes som kjørte traktoren. Siden den gang har det vært mange rapporter om at en dame kledd i hvitt vandrer hvileløst rundt i nærheten av klosteret. Det ryktes at Den hvite damen opprinnelig var islandsk, og stammet direkte fra de tidligste islandske bosettingene. Derfor er det også trolig Den hvite dame som går igjen også på Myrdalssandur.