En 1929, il est exclu de son école sans doute à la suite de sa participation à une petite organisation communiste. Il est possible qu'il ait fait un temps de prison pour cette participation, mais c'est peu après qu'il change de nom et c'est en 1932 qu'il rejoint ou organise un premier groupe de résistants à l'occupant japonais qui a transformé la Mandchourie en Manchoukouo. Comme d'autres groupes de partisans coréens et parlant mandarin, il s'intègre aux forces communistes chinoises qui s'organisent peu à peu entre 1931 et 1935 pour combattre les Japonais. C'est au sein de la Seconde Armée, surtout active dans l'est de la Mandchourie, que Kim s'illustre et se hisse au grade de commandant de division (une centaine d'hommes), mais le fait d'armes qui lui vaut d'être reconnu par les Japonais comme un des résistants les plus notoires est le raid sur Pochonbo, une ville coréenne, qu'il organise le en coordination avec une association de résistance locale. Il occupe la ville une journée avant de se retirer en Mandchourie, poursuivi par des policiers japonais qu'il défait dans une embuscade.