Mellom 1919 og 1920 var han Koreas eksilregjerings politisjef, mellom 1921 og 1922 dennes innenriksminister, fungerende statsminister i 1923 og arbeidsminister i 1924. Mellom 1927 og 1948 var han den siste president for den koreanske eksilregjeringen i Shanghai. Ved etableringen av Sør-Koreas nasjonalforsamling etter frigjøringen i 1948 ble Kim nominert til vervene som president og visepresident, men tapte mot henholdsvis Syngman Rhee og Lee Si-yeong. Han visste ikke om nominasjonene før etter avstemningene, og anså det som trekk for å sverte ham. Kim ville ikke delta i valget, ettersom han var en sterk motstander av etableringen av egne regjeringer i Nord- og Sør-Korea, og arbeidet for et forent Korea.