På øya finnes i tillegg til 15 hytter, den nedlagte Torgersøy fyrstasjon med et fredet klokketårn og tåkeklokke. Om sommeren driver Civitan Club Tønsberg camping på Torgersøya, med egen båttransport fra fastlandet. Øya har flytebrygger på nordvestsiden.