I 1808 forsvant silden. Øysamfunnet opplevde krisetider, og befolkningen ble redusert til drøyt 400 personer i 1830. Oppgangen begynte i 1861 da man fikk høre at fantes fisk (torsk og lange) ved fiskebanken i Ålesund i Norge. Dette medførte at mange båter satte kursen mot Norge.