Det innbringende sildefisket frem til rundt 1670 gjorde at innbyggertallet i bygda ble tredoblet. Tilflyttere til bygda var strandsittere som betalte avgift til Austrått. Kjøpmenn fra Trondheim bygde bryggene rundt , som ble brukt som tilvirkningssted for sild og lagerplass for redskap. De neste par hundre årene var det skiftende fiske og økonomiske forhold i landet. Rundt 1770 ble både Indre og Ytre Raak kjøpt fri fra Austrått. Christopher Olsen Foss (1729–1801) fra Stadsbygd var leilending på Ytre Raak i 1760-årene, men fikk skjøte på eiendommen i 1772. Kjøpesummen var på 2500 riksdaler. I 1854 ble gården delt mellom de fire brødrene Aage, Cornelius, Simeon og Petter. Det gamle våningshuset ble delt på midten og flyttet et stykke fra hverandre. Aage og Cornelius bygde på hver sin ende. Simeon bygde opp gården Berge på vestsiden av Vågen. På østsiden bygde Petter gården Vorphaugen.