Det kan ha vært bosetning på øya allerede på 1500-tallet, men boplassen ble trolig ikke ryddet før på midten av 1600-tallet. Et gammelt sagn forteller at øya i tidligere tider skal ha tilhørt Værne Kloster i Rygge, og at det var en engelsk nonne ved navn Grace som skal ha gitt øya navn. Det er funnet en steinhakke på Gressøya som vitner om bosetning tilbake i steinalderen.