To ganger var Frederik IV på besøk i Norge; i 1704 og 1709. På den første reisen var han rundt i store deler av landet. Navnet Kongsteinen i Stavanger er til minne om besøket i 1704.