Selve Karlsøya, som kommunen har fått navnet sitt fra, har et lite tettsted med en kirke fra 1800-tallet. Innbyggerne her er en blanding av den opprinnelige befolkningen, «hippier» og norske muslimer. Karlsøya har også en rik og spesiell flora.