I 1686 ble Alexander Larsen Vigand utnevnt til sogneprest i Sørvær sognekall og valgte som sin forgjenger å beholde prestegården i Hasvåg. På slutten av 1600-tallet bodde bare noen få skattemenn igjen i Hasvåg, og stadig flyttet folk fra stedet. Vigand fant følgelig ut at Hasvåg ikke var noe blivende sted for sognepresten. I hovedsognet bodde det i 1690 33 nordmenn. I 1713 ble Hasvåg kirke demontert og flyttet til Hasvik, der den ble oppført og tatt i bruk som Hasvik kirke i 1715.