Under Gestapos opprulling av Milorg på Sørlandet ble Kaare Dyvik og fire av fem brødre samt kusinen Astrid Dalseid arrestert. Den eldste broren og de to søstrene hadde flyttet fra Grimstad noen år tidligere og gikk derfor klar.