Etter protestoppsigelsen høsten 1940 ble Halvorsen personalsjef i Nycomed. På kveldstid jobbet han i idrettsfronten, der NFFs kontorer ble kommandosentralen for idrettens motstandskamp. Halvorsen deltok også i utgivelse av de illegale avisene (organisert av Einar Gerhardsen) og . Da ble rullet opp av Gestapo, havnet Halvorsen i konsentrasjonsleir på Grini i 1942, før han i 1943 ble flyttet til Natzweiler-Struthof ved Strasbourg via fangetransport til Szczecin.