I 1956 ble Zimmermann orlogskaptein i den vesttyske marinen (nå kjent som Deutsche Marine). Han tjenestegjorde som kommandør for en minesveiperskvadron og som militærattaché ved ambassaden i London. Senere jobbet han i perioder i Forsvarsdepartementet, og som øverstkommanderende for sjøstridskreftene i Nordsjøen og øverstkommanderende for flåten. I 1972 ble han utnevnt til admiral og forsvarssjef i Forbundsrepublikken Tyskland. Han døde i stillingen i 1976.