Han vokste opp i fattige kår i dagens Nord-Korea. I likhet med mange andre koreanere gikk han inn i den japanske hæren i Mandsjuria. Etter en tid som militærpoliti ble han en anerkjent etterforsker, hvis oppgave var å avdekke «muldvarper» innen den japanske etterretningstjenesten og jakte på motstandsfolk. Fra 1941 avdekket Kim et 60 mann stort sovjetisk spionnettverk. I 1945 tok Japans kolonisering av Korea slutt, og Kim dro til Hamhung, hvor han ble angitt, arrestert og dømt til døden av kommunistene for sine arrestasjoner av koreanske uavhengighetsforkjempere. Han greide imidlertid å flykte under transporten til henrettelsen, men ble igjen angitt og dømt til døden. Kim greide å flykte for andre gang, og kom seg til amerikanskkontrollerte Sør-Korea.