Øya ble kalt Gimsøy (lokal uttale er ) og navnet kan ha bakgrunn i at den ble brukt som beite for geiter.