Torskøya het tidligere Fiskøya. I ei skatteliste fra 1567 står én mann, Oluf Endresen, oppført som bosatt på Torskøya, men siden har øya vært ubebodd. Endresen bodde sannsynligvis i Husvika sørøst på øya. Under seifisket på Stiholla hadde fiskerne en liggeplass i Sommarkeila på øyas sørvestside. Torskøya var lenge et trygt sted å ha sau på beite, men på 1870-tallet svømte bjørn flere ganger over til øya fra Spanhellen på Senja og drepte sauer.