Heinemann ble medlem av Konrad Adenauers første regjering i 1949. Da han gikk av i 1950 var det i protest mot remilitariseringen av Tyskland som han var sterkt imot.