Яо дебютировал в сборной Китая на летних Олимпийских играх 2000 года в Сиднее, и вместе с Ван Чжичжи и Менгке Батыром они составили так называемую «Великую стену». Во время Олимпийских игр 2004 года Яо нёс китайский флаг на церемонии открытия, по его словам он «осуществил свою давнюю мечту». На самих Играх 2004 года в целом команда выступила неудачно, но Яо вошёл в символическую сборную баскетбольного турнира. На чемпионате мира 2006 года Китай дошёл лишь до 1/16 финала.