Der Versuch den dritten WM-Titel in Folge zu gewinnen scheiterte 2004 trotz der besten Kür zur Musik von Tschaikowskis Nussknacker wegen eines Fehlers von Zhao im Kurzprogramm. Sie unterlagen Tatjana Totmjanina und Maxim Marinin. 2005 mussten sie wegen einer Achillessehnenzerrung Zhaos gleich ganz aufgeben. Doch es sollte noch schlimmer werden, denn am 5. August 2005 zog sich Zhao einen Achillessehnenriss beim Training im Höhentrainingslager Kunming zu und wurde am darauffolgenden Tag in Peking operiert. Dies behinderte die Olympiavorbereitung für 2006 erheblich. Erst wenige Wochen vor den Olympischen Spielen 2006 in Turin konnten sie wieder auf das Eis zurückkehren. Ihr Trainingsrückstand war offensichtlich, doch es reichte äußerst knapp zum erneuten Gewinn der Bronzemedaille bei Olympischen Spielen hinter Totmjanina/Marinin und ihren jungen Landsleuten Zhang Dan und Zhang Hao. Ihre anderen Landsleute Pang Qing und Tong Jian waren nur 0,24 Punkte hinter ihnen.