Kaiser ble av okkupasjonsmakten ansett som å tilhøre venstresiden av sitt parti og av omverdenen også som en motpol til Konrad Adenauer. I desember 1947 ble han av Sovjetunionen fjernet fra ledelsen av CDU i deres okkupasjonssone.