Bei den XXVIII. Olympischen Spielen 2004 in Athen gewann sie die Goldmedaillen im Damen-Einzel und zusammen mit ihrer langjährigen Partnerin Wang Nan auch im Damen-Doppel. Im Einzel-Endspiel am 22. August 2004 besiegte die Weltranglistenerste Zhang die ungesetzte Überraschungsfinalistin und damalige Weltranglisten-40. Kim Hyang-mi aus Nordkorea mit 4:0 Sätzen. Außergewöhnlich erfolgreich verlief das Jahr 2005, in dem sie im Einzel World Cup und Grand Finals sowie zum ersten Mal die Weltmeisterschaft gewinnen konnte, bei der sie auch erneut Gold im Doppel holte. Dieser Zweifacherfolg im Einzel und Doppel gelang ihr 2006 auch bei den Grand Finals. Das Jahr 2007 verlief für Zhang weniger erfolgreich, da sie zwar Asienmeisterin wurde, dafür aber das World-Cup-Finale gegen Wang Nan verlor und bei den Grand Finals sowie bei der WM im Halbfinale ausschied. Im Januar (und später noch einmal im November) 2008 fiel sie so in der Weltrangliste für einen Monat auf Platz 2 zurück.