I Irlands litterære og fiktive historie, , var Tory Island stedet for Conands tårn, («Kongens tårn»), som var kongssetet til fomorierne, et mytologisk folk av kjemper, men de ble nedkjempet i et stort slag på øya av nemederne, et folk av sjøpirater. Den senere fomoriske kongen og krigsherren, Balor med det onde øyet (han var enøyd), skal også ha bodd på øya. En profeti hadde fortalt Balor at han ville bli drept av barnebarnet sitt, og for å unngå denne skjebnen stengte han inn sin eneste datter Eithne i et stort steintårn bygget på toppen av Túr Mór («Høytårnet»). Men Eithne klarte likevel å føde en sønn – Lúgh – som oppfylte profetien ved å drepe sin bestefar. Tor Mór er øyas høyeste punkt. Det er en bygdeborg fra tidlig jernalder, Dun Bhaloir («Balors borg»), nå bestående av en stor steinrøys som var en del av dens forsvar.