Christian Social Union in Bavaria
До 1945 года Циммерман состоял в НСДАП. В 1948, он вступил в Христианско-социальный союз (ХСС). К 1955 году он уже находился среди руководства партии, а с 1956 по 1963 году был генеральным секретарём ХСС. С 1963 по 1967 годы занимал должность партийного казначея в Баварии, с 1979 по 1989 годы был заместителем председателя ХСС.