Opphavet til navnet Tory Island (irsk: ) er ikke universelt enighet om. Tory kan komme fra det mellomirske ordet ; moderne irsk ; betyr «en raner eller banditt». Et av de eldste britiske politiske partiene, Det konservative parti, er også kjent som «tories», noe som referer tilbake det historisk konservative og rojalistiske partiet Tory. Begrepet var opprinnelig et misbruk og betydde «en irsk opprører». Fornærmelsen går tilbake til tiden for Oliver Cromwells brutale krigføring i Irland da en gjeng irske geriljakrigere ble kjent som «Tories». En del av øyas innbyggere har ofte vært smigret over denne tolkningen av navnet.