Under melkestreiken i 1941 var det også en kort arbeidsnedleggelse ved Lilleborg. Tre av arbeiderne ble arrestert og dømt, og en av dem døde i fangenskap. Direktør Thorvald Moe ble også arrestert flere ganger, og i 1942 ble han sendt til fangeleir i Øst-Tyskland. Generalkonsul Dietrich Hildisch, et framtredende medlem av Nasjonal Samling og tidligere aksjonær i Denofa, ble innsatt som forvalter ved bedriften.