中学・高校時代は喧嘩に負けた事がなく、大阪一帯にその名は響き渡っていた。自分より弱い者には全く手は出さず、常に「ここで一番強いの誰や! 勝負せい!」といった道場破り的な喧嘩を繰り返していたとされている。しかし、自伝などによれば、両手の指に数えられるくらいしかしたことがないと主張をしている。同世代に同じく喧嘩が強いとされていた前田日明がおり（学年は異なる）、この2人のエピソードを元に『喧嘩の花道』という作品が作られている。当時、近隣で有名な不良であった亀田三兄弟（現代の亀田三兄弟の父親である、亀田史郎を含む三兄弟）が「高校に進学したら赤井を倒す」と吹聴しているのを聞きつけ、「学校をサボって亀田長兄の通う中学に乗り込み、どつきに行った。史郎君はまだ小学生だった」と回想している。高校受験の際には併願で大阪府立住吉高等学校も受験し、トミーズ雅とニアミスしたという（次節で詳述）。
トミーズ雅との友情.
住吉高校の受験では、同学年であった北村雅英（トミーズ雅）にその姿を目撃されていた。その時はまだお互いが誰であるかは知らなかったものの、血気盛んな双方はメンチを斬り合って一触即発の危機となる。受験会場のため、喧嘩は回避されたが、後日、雅はそれが赤井であったことを知り、安心したと同時に、「赤井の不合格を祈った」と語っている。合格発表の際、自分の受験番号よりも先に赤井の受験番号を探し、赤井の不合格を確認するとホッと胸をなで下ろしたという。奇しくもこの時に出会った二人は、後に同じボクサーから芸能界への道を歩み、さらには友情を築くことになった。赤井は「雅」、雅は「赤井」と呼び合う。なお、住吉高校は雅の相方であるトミーズ健も受験しており、健も合格している。
雅はスーパーウェルター級のランカーであり、赤井が所持していたスーパーライト級より重い階級である。なお、一度だけ赤井と雅はスパーリングを行った事がある。先輩でなおかつ階級が下の赤井に教えてやろうと思ったが、赤井の左ジャブを浴びる度にこん棒で鼻を突かれるような衝撃を受け「こいつには勝てない」と悟ったという。
プロボクサーデビュー.
浪速のロッキー.
世界タイトル挑戦.