Skjellerøys høyeste punkt er 37 meter over havet. Nord på øya er det ei lita bukt med badestrand. Skjellerøy har lite vegetasjon, men det er gressletter og strandenger i vikene i nord. Langs kysten er det svaberg. Mange overnatter i telt på øya.