Fra middelalderen og fram til litt ut på 1600-tallet blomstret fisket i Torsvåg, det var stort sett gode økonomiske tider både for fastboende og tilreisende sesongfiskere. De mest langveisfarende skal ha kommet helt fra Salten. Det kom også folk fra andre land og bosatte seg i Torsvåg. Fiskehandelen vokste fram og Torsvåg var både fiskevær, rorvær og handelsstasjon. Det var god handel og hyppig jektefart både til Trondheim og verdensbyen Bergen. Nyheter fra inn- og utland, handelsvarer og moter var ferske da de ankom Torsvåg, spesielt om sommeren. Men nedgangstidene på 1600-tallet rammet også Torsvåg, det ble befolkningsnedgang og kirken forsvant.