10名的成绩进入在美国阿纳海姆举行的第37届世界体操锦标赛男子个人全能决赛，最终以0.046分之差惜败于东道主选手保罗·哈姆。这个结果令杨威非常失望，赛后接受采访时，他忍不住落泪。本次比赛杨威作为主力队员，还和队友配合获得了男子体操团体冠军。2004年雅典奥运会，中国体操队和杨威一起遭遇了滑铁卢。带着体操梦之队美誉的中国体操男队由于压力过大，最终没有进入前三名，仅获得第四。而杨威在个人全能的比赛中，由于单杠上的重大失误，最终获得第7名。雅典奥运会的失利使杨威产生了退役的念头，然而从没有获得过个人全能