期间，他曾秘密参与反对日本殖民统治朝鲜半岛的活动。1945年，日本投降，二战结束，金应彬来到北韩，并担当朝鲜劳动党工人代表大会的委员。随后又获任为党中央委员。当时，他在政府中甚有影响力。1950年朝战爆发，金应彬成为朝鲜人民军第1队队长，负责汉城和京畿道的战线。在成功佔领汉城后，他又被委任为当地的党委员长。同期，他又成为负责培训政治工作队和武装游击部队的学院—金刚政治学院的院长。然而，1953年8月，即朝战结束不久后，国内派首领李承烨、朴宪永被时任最高领导人金日成指控为颠覆政府的间谍，金应彬的金刚政治学