2004-2005シーズンには、大学入学に伴う環境の変化やプレッシャーや、シーズン前半のアジア選手権で右足首の神経の炎症を起こしたことによりモチベーションが低下し、スケートをやめたいとさえ思っていた。しかし、全日本選手権で6位に沈んだことで気持ちがふっきれ、年明けのユニバーシアードで優勝、四大陸選手権では3位となった。世界選手権では、ともに出場した本田武史が予選演技中の怪我で途中棄権したため、翌年の2006年トリノオリンピックの日本男子出場枠が髙橋1人の順位にかかる大きなプレッシャーの中で演技することになった。ショートプログラム（以下、SPと略）までは7位と健闘したものの、フリースケーティング（以下、フリーと略）では冒頭の4回転ジャンプ転倒を皮切りにことごとく失敗を連発してしまい、総合15位に終わる。この結果、トリノオリンピックの日本男子出場枠は最小の1枠となる（総合10位以内なら2枠だった）。シーズン終了後、コーチ・振付師をニコライ・モロゾフに変えるとともに、トレーナーのカルロス・アビラ・デ・ボルバにつき、フィジカル面とステップの強化に力を注ぎ始めた。