Kaifu ble født i Nagoya i Aichi prefektur på øyen Honshu, og ble utdannet i jus ved Wasedauniversitetet i Tokyo i 1954. I 1960 ble han som den yngste representanten valgt inn i det japanske underhuset for partiet Japans liberaldemokratiske parti. Han har siden sittet i 16 sammenhengende perioder i underhuset. I 1976 og 1985 var han utdanningsminister før han i 1989 ble statsminister. I februar 1991 gikk han av som statsminister og ble erstattet av Kiichi Miyazawa. I 1994 forlot han Japans liberaldemokratiske parti og ble leder i det nydannede partiet Shinshinto. Etter flere parti-sammenslåinger ble han igjen medlem av Japans liberaldemokratiske parti i 2003.