Ab 2003 wechselte Kye dann endgültig ins Leichtgewicht. Bei den Judo-Weltmeisterschaften 2003 in Ōsaka gewann sie im Finale wie zwei Jahre zuvor gegen eine deutsche Judoka: Yvonne Bönisch. Bei den Olympischen Spielen 2004 traf Kye im ersten Wettkampf auf Marcon Bezzina aus Malta. Nach Siegen über die Russin Natalia Jucharewa und die Britin Sophie Cox erreichte sie mit einem Ippon gegen die Kubanerin Yurisleidy Lupetey das Finale, in dem Kye wieder auf Yvonne Bönisch traf. Bönisch gewann nach fünf Minuten durch eine Yuko-Wertung. Mit ihrer Silbermedaille hatte Kye nun in drei verschiedenen Gewichtsklassen eine olympische Medaille erkämpft.