Skogerøya er ubebodd. Tidligere bebodde steder var blant annet Revøysund, Steinskjærnes, Nord-Leirvåg og Sør-Leirvåg. Det siste posthuset på Skogerøya, 9936 Steinskjernes, ble nedlagt 1.desember 1984. Det går vei på øya fra Steinskjærnes via Sør-Leirvåg til Nord-Leirvåg. Ved Skogerøya ligger Kjøøya og Kjelmøya der det er gjort jernalderfunn. I Gullsmedvika på Oksebåsneset er det rester av et kystbatteri, Heeresküsten-Batterien (HKB) 6/478 fra den andre verdenskrig. Batteriet hadde 4x10,5 cm K331(f) kanoner med rekkevidde på 12 000 meter. Anlegget ble evakuert og sprengt oktober 1944.