バランスバイクの製造業者らは、バランスバイクによってまずバランスと逆操舵を学び、その後にペダル操作を学ぶことで子供が自転車の運転をより速く学ぶことができると述べている。また、補助輪を使うと子供がそれに依存し過ぎるようになり、悪い癖を身に付けてしまうため学習を遅らせると述べている。小児科医らは、補助輪を使わないことで自転車により速く乗れるようになるという証拠は存在しないと述べている。自転車が倒れるのを防ぐ補助輪は、同時に逆操舵をも妨げるため、三輪車と同様に、子供はハンドルバーを誤った方向に向けることを覚えてしまう。Sheldon Brownは、補助輪の位置が低過ぎるとバイクが傾くのを妨げてしまい、また後輪に適切に体重がかからなければブレーキングを邪魔してしまうため、誤って調整した場合には学習の障害になり得ると記している。補助輪を適切に調整し、子供の技術が上がれう程に補助輪の位置を挙げることでこれらの問題を避けられる。ブレーキを全く持たないバランスバイクでは乗り手の足でうまく停止できないことが予想されるが、非常に小さな子供はどちらにせよブレーキを効果的に使うことができないだろう。Brownはバランスバイクを別に購入するのではなく、単に通常の子供用自転車のペダルを外すことを薦めている。
バランスバイクには金属製のものと木製のものがある。ペダルと関連部品が取り除かれた通常の自転車か、あるいは専用のもの（特に通常の自転車が一般的に入手できない非常に小さな子供のため）がある。ブレーキはないか、1つあるいは2つの手動リムブレーキがある。適切に機能するために、バランスバイクは乗り手がサドルに楽に座り、両足裏が地面に着く体勢で歩くことができるように十分小さなくなければならない。乗り手は最初はサドルにまたがって歩き、次にサドルに座って歩く。最終的には、乗り手はバイクに乗っている間に走ったり突進したりするのに十分な程心地良く感じ、次に両足を地面から話して、2つの車輪でバランスを取りながらゆっくり進む。
バランスバイクあるいはランニングバイクは、子供がバランスやステアリングを習うのを助けるトレーニング用二輪自転車である。ペダルや駆動系を有していない。ただし、日本においては自転車ではなく乗用玩具とされ、また「バランスバイク」が特定企業の商標となっているため、「キックバイク」などと称される。
1992年に美浦の伊藤正徳厩舎所属として騎手デビュー。同期に小林淳一や横山義行、上村洋行などがいる。初騎乗は1992年3月1日、中山競馬第1競走のエンシュードラゴンで16頭立ての6着だった。初勝利は同期で最も遅い同年4月4日の中山競馬第4競走で、タイガーリリーに騎乗してのものだった。しかし、1年目から所属する調教師の伊藤と合わなくなる。後藤は著書で「岡部幸雄や柴田政人と同じレベルのことを求めている」と語っている。また、歩き方で注意をされたり、他厩舎の調教にも決して行けず、伊藤自身も後藤に対して「勝てる馬は乗せない」と語っていたという。後藤は減量期間がなくなる3年は我慢してフリーになることを決意。伊藤はその宣言通り後藤には自厩舎の有力馬には乗せなくなったという。1994年の福島記念で騎乗したシルクグレイッシュで重賞初勝利。同馬は先輩である小野次郎が騎乗する予定だったが、小野が同日の第4競走で落馬負傷したため急遽乗り替わった。これは50キログラムの負担重量で騎乗できる有力騎手が空いていなかったためである。大和田稔調教師は、後藤と同じ美浦トレーニングセンターの所属であるが、それまで後藤の顔すらも知らなかったという。1995年に師匠の伊藤との考えの相違からフリーの騎手となる。4年目にして初の21勝を挙げる。翌1996年にはアメリカ合衆国フロリダ州マイアミ市カルダー競馬場などを拠点に半年間の武者修行に出て、158戦7勝の成績を残す。アメリカから帰国した1997年はアメリカに行く前年の21勝から46勝と倍増。以降は成績を伸ばし、1998年には年間63勝を挙げ、初の関東リーディング・ベスト10に入る（6位）。1999年8月19日、美浦トレーニングセンター内にある騎手寮「若駒寮」で、後輩騎手である吉田豊に対して木刀を使うなどして一方的に暴行を働き負傷させ、翌日のスポーツ新聞各紙のトップ記事となる不祥事を起こした。JRAによる事情聴取の結果、日本中央競馬会競馬施行規程第126条第20号に基づき後藤は騎乗停止となり、その期間は後日に開かれた裁定委員会で8月20日から12月19日までの4か月と決定、これまでに暴力事件を起こした騎手のうちでは最長の騎乗停止期間となった。12月25日に復帰するも、翌26日に進路妨害で3週間の騎乗停止処分を受ける。翌2000年には、年末の最後まで岡部幸雄や横山典弘と関東リーディングジョッキー争いを演じ、自身初となる年間100勝（最終的には101勝）をマーク。関東リーディングは2位、また初めてのワールドスーパージョッキーズシリーズへの参戦を果たす。ダイヤモンドステークスでユーセイトップランに騎乗して東京競馬場の長距離戦ではタブーとされている3コーナーまくりを行い、そのまま先頭でゴールしたのはこの年である。ゴールドティアラに騎乗し統一GI競走・マイルチャンピオンシップ南部杯を制し、統一GIながらも自身初のGI制覇となる。2002年6月2日、安田記念をアドマイヤコジーンに騎乗して制し、中央競馬のGI初勝利。このあとイギリスへ再び3か月の海外遠征にも出る。2004年12月12日には朝日杯フューチュリティステークスでマイネルレコルトに騎乗し、2つ目のJRAのGI勝利を挙げる。2006年11月25日、ジャパンカップダートでアロンダイトに騎乗し3つ目のJRAGI勝利を挙げる。2007年、9月24日から9月28日までアメリカへ競馬視察のため海外出張を行った。11月4日に前年に続き自身4度目となるJRA年間100勝を達成した。さらに10月28日までに関東所属騎手の中で2位となる97勝を中央で挙げたことから第21回ワールドスーパージョッキーズシリーズへ出場することになり、最終レースで優勝の可能性を残していたが、結果は5着に終わり、優勝騎手と4ポイント差の2位に終わった。ワールドスーパージョッキーズシリーズに先立つ11月10日、東京競馬場でJRA通算1000勝を達成。2007年は、中央競馬の関東でのリーディングジョッキーになった。2010年6月6日、安田記念をショウワモダンに騎乗して制し、4つ目のJRAのGI勝利を挙げる。2011年5月22日、エリンコートで優駿牝馬を制し、初のクラシック勝利を挙げた。