Navnet kommer av at steinen tilhørte den nærliggende gården Sele og omtaler hvordan retten til elva – enten det var snakk om fiske, kvern eller vannkraft – var knyttet til denne gården.