Det meste av Skauerøya hørte tidligere under ett og samme gårsdbruk. Våningshuset på gården, som i Lillesand rett og slett blir kalt «huset», ble oppført rundt 1800 etter at det tidligere våningshuset var blitt ødelagt i en brann rundt 1780. Gården ble overtatt av Lillesand kommune og staten i fellesskap i 1965, og mesteparten av øya er idag friluftsområde. Populære overnattingsplasser for båtturister er Hestholmbuktene på sørøstsiden av øya og Skauerøybukten, som ligger mot Blindleia på nordvestsiden av øya. I disse buktene er det anlagt brygger som er tilgjengelige for allmennheten, og det er satt ut søppelkasser om sommeren. Det går turstier rundt Skauerøya gjennom blandet løv- og furuskog. Turstiene leder til flotte utsiktspunkter mot såvel havet som Blindleia og Sandsgapet.