Sørvær ble bygget opp på tre nakne holmer, og det har ikke vært forhold for å drive med jordbruk ved siden av fisket. Dette har gjort Sørvær helt avhengig av fiskeriene for å overleve. Tidligere var Sørvær sentrum for et stort skreifiske, hvor også svært mange fiskere fra Troms tok del. Dette har også medført at dialekten i Sørvær skiller seg fra resten av Sørøya, med en tydelig påvirkning fra dialekter i Nord-Troms. Sørvær var kirkested i senmiddelalderen.