In den Jahren nach den Olympischen Spielen 2002 trat Kwan kürzer und bestritt im Herbst 2002 bis 2004 nur eine Grand-Prix-Veranstaltung. Unter ihrem neuen Trainer Scott Williams gewann sie 2003 in Washington ihren fünften und letzten Weltmeisterschaftstitel. Danach wechselte sie zu Rafael Harutjunjan, mit dem sie versuchte, das technische Level ihrer Programme zu heben. Bei den nationalen Meisterschaften 2004 bekam sie siebenmal die 6,0 in der Präsentation. Bei der Weltmeisterschaft 2004 in Dortmund bekam sie Abzüge für ihr Kurzprogramm, da es zwei Sekunden über dem Zeitlimit war. Vom vierten Platz aus ging sie in die Kür. Sie zeigte eine konservative Vorstellung mit fünf Dreifachsprüngen und bekam die letzte 6,0, die je vergeben wurde, denn danach führte die Internationale Eislaufunion ein neues Wertungssystem ein. Sie beendete die Kür auf dem zweiten Platz und gewann schlussendlich die Bronzemedaille hinter Shizuka Arakawa, die sieben Dreifachsprünge inklusive zweier Dreifach-Dreifach-Zweifach-Kombinationen gezeigt hatte, und Sasha Cohen.