Kalvøya har ikke bruforbindelse, og hyttebebyggelsen er i dag den eneste. Blant denne er et tidligere loshus på sørsiden av øya. Det er ikke lenger fastboende på øya. På Kalvøyas sørside ligger en gammel uthavn, et minne om seilskutetida på Skagerrakkysten.