Øya er kjent fra Henrik Ibsens dikt «Terje Vigen»; den er modell for Terjes hjemsted. Henrik Ibsens farfar forliste med skuta «Caritas» ved Teinedypet rett sør for Hesnesøya, og omkom sammen med hele mannskapet. Hesnesøya er et populært mål for båtturister om sommeren.