I 1949 ble Kim skutt og drept på sitt eget kontor av løytnant Ahn Doo-hee. Ahn hevdet at Kim hadde vært en sovjetisk medløper. Ahn dømt til livstid i fengsel for drapet, men president Syngman Rhee forkortet straffen til 15 år, og under Koreakrigen kom han på frifot. Det vites ikke sikkert om Ahn stod i ledtog med andre, for eksempel Kim Chang-ryong, som Ahn i ettertid hevdet hadde beordret drapet. Nedgraderte dokumenter har også påvist forbindelser mellom Ahn og nasjonalistiske grupper og amerikansk militær etterretningstjeneste. Ahn ble selv drept av en av Kim Gus tilhengere i 1996.