I begynnelsen av 1700-tallet gikk folketallet ned på Andenes som følge av et dramatisk fall i tørrfiskprisene i Bergen og en påfølgende stagnasjon i tørrfiskhandelen. Dermed kom også Andøya inn under Bergens monopolhandel i Nord-Norge. Fram til 1800-tallet levde Andenes og hele kyst-Andøya en slags skyggetilværelse. Fiskeværet eksisterte, men heller ikke mer.