Han studerte ved Frunse-militærakademiet i Moskva og ved Mangyŏngdae (det senere Kim Il-sungs militære universitet) i Pyongyang. Han hadde grad av visemarskalk i Den koreanske folkearmé. Han var partisekretær i Koreas arbeiderpartis avdeling i Sør-Pyongyan i 1960-årene og ble medlem av Arbeiderpartiets sentralkomité i 1986. I 1988 ble Kim og generalstabssjef O Kuk-ryol sparket etter disputter med forsvarsminister O Jin-u.