Det var gjennom kona Fanny og brødrene hennes Halvorsen ble involvert i det illegale arbeidet Norges Kommunistiske Ungdomsforbund (NKU) drev, først gjennom deres distribusjon av den illegale avisen . I mars 1942 ble Fanny sendt til Grini for dette arbeidet, mens Roald Halvorsen så vidt kom seg unna.