Etter noen uker flyttet Ramsøy-folket hjem igjen. Forholdene på øyen var fredelige til ut på vinteren 1941. Da kom det beskjed om at alle som bodde i Skaret skulle evakueres og overlate husene sine til tyskerne, som snart ville komme for å bygge forsvarsverker på øyen. Evakueringen gikk rolig for seg, og over påske kom tyskerne til Ramsøy – i første omgang rundt 180 mann.