Familien hans stammer fra Galicia. Hans bror Rolf Axen inspirerte ham til aktivt medlemskap i det kommunistiske ungdomsforbundet KJVD i 1932. Broren Rolf ble arrestert etter nazistenes maktovertagelse og ble myrdet under avhør i oktober 1933. I 1935 ble Hermann Axen dømt til tre års tukthus på grunn av "forberedelser til høyforræderi". Etter løslatelsen flyktet han til Paris. I 1940 ble han internert og senere utlevert til Gestapo. Resten av krigen ble han holdt som fange i konsentrasjonsleirene Auschwitz og Buchenwald.