Sælør er kanskje mest kjent for kongebesøkene sine. Olav den hellige overvintret her i 1028, og Magnus den gode skal ha besøkt øya i 1047. Det er funnet rester av en noe man mener kan være en kirke bygget av Olav den hellige under overvintringen.