中学2年で出場した2004年1月の全日本卓球選手権ジュニアの部で優勝（男子では史上最年少）、また一般の部もランク入りし、その天性の柔らかいボールタッチから話題になった。15歳になり名門青森山田高校に進学した。2005年には15歳10ヶ月という男子史上最年少で世界卓球選手権日本代表に選出された（当時。後に張本智和が更新）。当時の日本代表はアテネオリンピックなどの惨敗を受け、一気に若返りを図り水谷はその中でも最年少であった。当時の水谷は時として世界ランキング上位の選手に勝利を収めることもあった。また、代表の強化選手となったことで、岸川聖也らと共にドイツに留学。ドイツリーグの1部（ブンデスリーグ）でプレーして、一年の大半をドイツで過ごした。しかしイタリアンの店で、3〜4ユーロのピザとコーラという食生活で高校1年の時に右脛を疲労骨折。半年間も卓球から離れた。その後バランスの良い食生活の改善に心がけた。