Rørtveit med familie overtok det gamle fiskeværet Skipnes i Øksnes i 1985 og restaurerte bygningene der. Han har også vært initiativtaker og styreformann i Galleri Espolin i Lofoten, drivkraft bak etableringen av Lofotakviariet, samt styreleder i Lofoten kystlag i over 20 år. Dessuten har han vært aktiv i forbindelse med restaurering og bevaring av jakta «Anne Bro» og prosjektet Storvågan i Kabelvåg. Han ble i 2013 tildelt Riksantikvarens kulturminnepris for sin innsats for kystkultur.