Det er spredt bebyggelse med fastboende på den nordlige delen av øya. Den sørlige delen av Gjervoldsøy preges i dag av fritidsbebyggelse. Fra sørsiden av øya er det utsikt mot Store og Lille Torungen fyr.