Ifølge sagnet skal man «gå rolig og holde stilt» når man går forbi Sjursteinen. I tidligere tider skal det ha vært ofret til steinen, og der skal ha blitt holdt festmåltider. Skatten som skal ligge der har aldri blitt funnet.