Den 1. oktober 1982 etterfulgte han Schmidt som kansler etter et såkalt konstruktivt mistillitsforslag i parlamentet. Han var den lengst regjerende kansler siden Otto von Bismarck da han ble etterfulgt av Gerhard Schröder den 27. oktober 1998, etter at SPD vant de føderale valgene. I likhet med Bismarck har også Kohl samlet Tyskland, dette skjedde etter slutten på den kalde krigen da kommunismen og Sovjetunionen brøt sammen, og DDRs territorium kunne gjenforenes med Vest-Tyskland.