Etter Hitlers maktovertakelse i 1933 arbeidet han illegalt i Berlin, blant annet som sekretær for KPDs leder John Schehr. Han arbeidet i 1937 for de internasjonale brigadene i Spania. Etter et opphold i Paris, reiste han i 1940 til Moskva, hvor han arbeidet som redaktør. Ackermann arbeidet også blant de tyske krigsfangene og for Nationalkomitee Freies Deutschland.