セルティック残留を決意し、2007-08シーズンのスタートを切ったものの、2007年8月31日に移籍金225万ポンドでプレミアリーグ昇格組のダービー・カウンティFCと3年契約を締結した。ダービーでは、出場の多くで先発を務めており、リーグ初出場を飾った9月17日のニューカッスル・ユナイテッドFC戦 (1-0) において、クラブのシーズン最優秀得点賞に選出される初得点にして決勝点を挙げ、29日のボルトン・ワンダラーズ戦でも得点し、本拠地で行われた最初の2試合で2得点を挙げ、勝ち点獲得に貢献した。しかし、以降は得点数を2つ伸ばすにとどまり、30試合4得点でシーズンを終了し、チームのプレミアリーグ創設以来最少総得点という不名誉な記録に関与した。
ウルヴァーハンプトンから契約延長のオファーがあったものの、それを拒否して2006年1月にセルティックFCとプレ契約で合意し、2005-06シーズン終了に伴ってウルヴァーハンプトンと契約満了となり、2006年7月3日に自由契約でセルティックと4年契約を締結する。なお、レンジャーズとセルティックのライバル関係にある両チームで第二次世界大戦後にプレーした選手としては、アルフィー・コン・ジュニア、モー・ジョンストンに次ぐ3人目となった。背番号9番を受け取ってスタートを切ったミラーは、シーズン前に行われたDCユナイテッドとの親善試合で退場、最初の9試合で無得点とセルティックでの生活は難しいものとなっていた。その後、2006年9月にセルティック・パークでのオールドファームで古巣レンジャーズ相手に初得点を挙げ、UEFAチャンピオンズリーグ 2006-07では、FCコペンハーゲン戦 (1-0) のペナルティーキックによる決勝点、SLベンフィカ戦 (3-0) の2得点の3得点を挙げて決勝トーナメント進出に貢献し、レンジャーズとセルティックの両チーム所属した選手において、UEFAチャンピオンズリーグで得点を挙げた最初となった。だが、リーグ戦31試合4得点と期待はずれに終わった。翌2007-08シーズンは、ゴードン・ストラカン監督の構想外となった為に出場機会を求めて移籍を検討したが、最終的に翻意し、定位置争いを決意すると、2006-07シーズン初出場となった2007年8月11日のフォルカークFC戦で初得点を挙げ、次のアバディーン戦で2得点を挙げて2試合3得点とした。
2000年6月26日に移籍金200万ポンドでレンジャーズFCと5年契約を締結する。7月26日にUEFAチャンピオンズリーグ 2000-01予選のFBKカウナスで初出場を飾った。8月5日に敵地でのキルマーノックFCとのリーグ戦で初得点を挙げると、その3ヶ月後の11月4日にセント・ミレンFC戦 (7-1) でリーグ最多記録となる5得点、更にASモナコとアバディーンFC相手にも得点し、14試合10得点と高い得点率を有した。しかし、その後は調子を落とし、2011年1月下旬のブレチン・シティFCとのスコティッシュカップでの1得点を加えた38試合11得点で2000-01シーズンを終了した。
エディンバラのマッセルバーグで育ち、1996年に16歳で地元のハイバーニアンFCの下部組織に入団し、1997年11月29日のマザーウェルFC戦でプロ初出場を飾った。1998年11月下旬から4部のステンハウスミュアーFCにて期限付き移籍で過ごすことになったが、ここでの4ヶ月間でレギュラーとして公式戦13試合10得点、内5試合で2得点づつ挙げる活躍を見せると、翌1999-2000シーズンはアレックス・マクリーシュ監督の下でチーム最多得点者として、スコティッシュ・プレミアシップ (1部) の舞台でセルティックFCとレンジャーズFC相手に得点を挙げ、また、得点力のみならず、オフ・ザ・ボールでも働きを見せ、スコットランドPFA年間最優秀若手選手賞を受賞した。
全国中学校水泳競技大会の200m平泳ぎに優勝。1964年東京オリンピック・1968年メキシコオリンピックの平泳ぎの日本代表選手で、田口信教（1972年ミュンヘンオリンピック男子100m平泳ぎ優勝）を指導した鶴峯治の目に留まる。その後、尾道高等学校（現尾道中学校・高等学校）に進学したが、学校経営者と恩師の鶴峯とが水泳部の運営をめぐって対立した影響で中京高等学校（現中京大学附属中京高等学校）へ転校。鶴峯との二人三脚で水没泳法を完成させた。自己最高記録（長水路）100m平泳ぎ1分3秒80、200m平泳ぎ2分17秒69。1978年 サンタクララ国際水泳競技大会に出場し、100m・200m平泳ぎでその年の世界最高（1分4秒13・2分17秒81）をマークして優勝。世界ランキング1位となり、「田口二世」の期待が集まる。1978年 第3回世界水泳選手権に出場し、100m平泳ぎで6位に入賞。1978年 第8回アジア大会に出場し、100m・200m平泳ぎで優勝。1980年 中京大学に入学、同年に1980年モスクワオリンピック選考会で泳法違反となる。1984年 ロサンゼルスオリンピックに出場し、その後、引退した。1987年 国際水泳連盟のルールが改正される。それが契機となり、現役に復帰することを決意。カムバック宣言。1988年ソウルオリンピックの競泳に当時の最高齢（27歳）として出場し、高橋自身が持つ200m平泳ぎの日本記録を10年ぶりに更新（2分17秒69）。コンソレーションファイナル（順位決定戦）進出（10位確定）。そして引退した。選手としてのピークが既に過ぎていた高橋が日本記録を更新したことに日本の水泳関係者ならびに記者の間では「金メダルに匹敵する」と称賛された。なお、高橋が泳いだ予選の同じ組では、まだ駆け出しだった後の世界王者マイク・バローマンが一緒に泳いでいた。1990年 中京大学体育学部専任講師となる。コーチとしては同じ平泳ぎの林享を指導した。2009年8月 高速水着騒動を受け、国際水泳連盟より新規に発足した競泳水着審議認可委員会委員に指名された。