東京・山谷のドヤ街に、ふらりと一人の少年が現われた。矢吹丈（ジョー）と名乗るその少年に一方的に叩きのめされたアル中の元ボクサー・丹下段平は、ジョーと地元暴力団・鬼姫会の連中との乱闘から天性のボクシングセンスを見いだし、一流のボクサーに仕立て上げようと口説き始める。しかしジョーは、自分に向けられる段平の情熱を利用し、小遣いをもらってはドヤ街の子供たちを引き連れて乱行を繰り広げた揚げ句、犯罪にも手を染め、警察に逮捕されて少年鑑別所へと送られてしまった。
そんなジョー宛てに段平から「あしたのために」の書き出しで始まるハガキが届いた。その内容は、左ジャブの打ち方から始まるボクシング技術の講義であった。時間と体力を持て余していたジョーは、そのアドバイスに従ってボクシングの練習に身を入れるようになり、やがて自分のパンチの切れが、今までと比べものにならないほど向上していくのを実感する。
鑑別所から西寛一と共に野菊島の東光特等少年院へ移されたジョーは、豚小屋掃除の際に、西の提案で豚たちを暴れさせ脱走を試みた。しかし、ライバル・力石徹にその邪魔をされてコテンパンに叩きのめされた。その後、小馬鹿にしていた青山とのボクシング対戦で防御法を身に着けたものの、宿命の対決が再戦されないまま力石は先に少年院を出た。遅れて少年院を出たジョーはなんとかプロボクサーライセンスを取り、強引な手腕でウルフ金串との対戦を実現させて、フェザー級からバンタム級へ転向した力石との対戦をも実現する。
減量による力石の変わりようは見られたものではなかったが、激闘の末にジョーは敗れた。しかし、勝った力石は減量の無理がたたって試合終了後に倒れ、そのまま死亡する。力石を死なせたショックで対戦相手の顔面を打てずに満足な試合を行えなくなったジョーは、それでもボクシングを捨て去ることなく、ドサ回りのボクサーに身を落とし罵声を浴びながらも試合を続けるのだった。
ボクシングに対する苦悩の末、強敵カーロスとのスパーリングで顔面を打てないという後遺症を乗り越えて復帰を果たし、本格的にボクシングの道へと足を踏み入れることとなったジョーは、金竜飛やハリマオとの対戦を経て遂に、世界チャンピオンの座を賭け最強のボクサー・ホセ・メンドーサとの闘いに挑んだ。