Etter en kamp mot Tyskland i 2004 etablerte han seg som fast venstreback på landslaget, en plass som fram til da hadde tilhørt Lee Young-pyo. Etter at Dick Advocaat ble sørkoreansk landslagstrener i november 2005 måtte Lee og Kim konkurrere om plassen. Det endte med at Advocaat lot spillerne rotere i posisjonen. Han ønsket å beholde begge spillerne i laget, siden begge hadde sosiale kvaliteter som var verdifulle for lagmiljøet. Dette varte fram til VM i fotball 2006.