Det opprinnelige navnet, Jarlsøy, stammer enten fra mannsnavnet Jarl eller fra adelstittelen . Uttalen var Jærrse og opp gjennom historien ble det brukt skrivemåter som Jarssøy, Jerssøn, Jerssøen, Jertzøenn, Giersø, Jersø og Giersø.