I foråret 1953 efterfulgte han Georg Dertinger som DDR's udenrigsminister, da Dertinger blev udrenset under anklager om anti-statslige aktiviteter. Ackermanns tid som udenrigsminister blev dog kort. Ackermann støttede Wilhelm Zaisser, men da Zaisser blev afsat kort efter Opstanden i DDR, blev også Ackermann frataget ministerposten i september 1953 og blev i 1954 ekskluderet fra SED's centralkomitée som følge af "parti-skadelig virksomhed". Ackermann blev dog rehabiliteret i 1956.