Dessverre gjorde mange innflyttere det vanskelig å fange nok og en stor del av familiene kunne ikke fange nok til både å leve og betale skatter. I 1632 var det bare 18 familier igjen. Dette stabiliserte forholdene noe og i 1682 var det ifølge Christian Vs arkiver rundt 30 igjen. Et nytt problem var nå flyvesanden som dekket både hus og nett og forsinket arbeidet. Flere hus i den østlige delen ble regelrett forlatt etter gradvis å ha blitt begravet under klitter.