Etter at tyskerne og NS hadde fjernet ham fra ordførerstillingen livnæret han seg en periode som bygningsarbeider, inntil han ble arrestert i en lokal aksjon 22. juni i 1941. Han satt først fengslet i Hamar, ble overført til Møllergata 19 i Oslo 11. august og til Grini 3. oktober. Derfra ble han 3. april 1942 sendt til Tyskland og konsentrasjonsleiren Sachsenhausen sammen med blant andre broren Harald Hermandsen, Arnulf Øverland og Einar Gerhardsen. Hermandsen døde etter et halvt år i Sachsenhausen i 1942.