Øya skal ha navnet sitt etter sjøfolk fra Friesland som brukte denne havna. Den ble benyttet til lagring av trelast som skulle til utlandet. Det har tidligere vært gruvedrift på øya, da hovedsakelig med utvinning av jernmalm. Anders Henriksen Friisø som var fra øya, startet opp Friisøen Skibsverft på øya rundt 1850. Han bygget 30 skip frem til 1906, da skipsbyggingen opphørte. 17 av disse på bygd på Frisøya. Fra 1884 var det også gjestgiveri på øya, men dette ble nedlagt da eieren døde kun fire år senere, i 1888. Johannes Frisø var øyas siste beboer, og han flyttet fra øya i 1965. I 1971 ble bygningene brent ned under en brannøvelse holdt av Arendal Smelteverk.