Det er funnet gravrøyser og steinaldertufter i og rundt Torsvåg, som tyder på at det har vært folk her i ganske lang tid. Ifølge et gammelt sagn som er gjengitt i Magdalene Thoresens «Billeder fra Midnatsolens Land» (1886), fikk plassen sitt navn da Tore Hund fra Bjarkøys fire brødre, Tor, Grim, Bur og Getmund kom til Vanna og bosatte seg på hvert sitt sted. Disse stedene fikk så navnene Torsvåg, Grimsholmen, Burøy(sund) og Jetnes.