媒酌人は遠戚の浅沼稲次郎が務めた。白井とカーンとの関係は、選手とコーチの範囲を超えるまさに「家族」と言えるものであった。引退後においてもそれは変わらず、白井の引退後も日本に永住した恩師・カーンとの交流は最後まで続いた。晩年のカーンは認知症になったが、逝去するまで白井夫妻の厚い介護を受けた。子供のいないカーンは、死後全ての財産を白井に譲ったという。また、白井はカーンの「ボクシングビジネスに手を出してはいけない」という忠告を守った。1995年に具志堅用高とともに白井・具志堅スポーツジムを設立、同ジムの名誉会長に就任したものの、出資のみで経営はパートナーの具志堅に全面的に任せている（但し田中敏朗の要請を受け、暁ジム特別コーチを務めたことはある。）。2003年12月26日、肺炎のため死去。80歳没。最終戦績は58戦48勝（20KO）8敗2分。世界戦戦績は7戦5勝2敗。※戦前戦後のデータ不詳により、白井の戦績については、65戦53勝（22KO）8敗4分、58戦46勝（18KO）8敗4分など各説ある。
小学6年生時の夜祭りの余興で行ったカンガルーとのボクシングに負けて以後、ボクシングにのめり込んだという。プロデビューは戦時下の1943年。8戦全勝の成績を残すが招集されて海軍に従軍し、整備士として終戦を迎える。復員後、ボクシング界へ復帰したものの海軍時代に特攻機を整備した際の労災により腰痛となり、引退寸前の危機に追い込まれた。しかしそのころジムに出入りしていたGHQ職員の生物学者アルビン・R・カーンに見出され、彼の全面的な支援の元にその素質を開花させていく。カーンの指導の下、栄養豊かな食事を与えられ健康管理を徹底、長い手足と運動神経を活かした防御主体のよりテクニカルなスタイルに矯正したことで白井のボクシングは息を吹き返し、1952年にダド・マリノ（アメリカ）との世界タイトルマッチに勝利し王座を獲得。以後4度の防衛を果たした。敗戦に打ちひしがれた日本人にとって、白井の王者獲得とその後の防衛での活躍は"希望の光"となった。
『オトノハコ』は、岩岡ヒサエによる日本の漫画作品。『Kiss増刊 Beth』（講談社）にて連載された。単行本は全1巻。コミックス『花ボーロ』（小学館）第2話「オトノハコ」（初出『月刊IKKI』）の続編である。
セリエAのパラカネストロ・ヴァレーゼで、2003-04シーズンはリーグ戦22試合に出場し、平均2.6得点、2.3リバウンド、ULEBカップ14試合で平均4.1得点、3.6リバウンドをあげた。2004年のNBAドラフトでユタ・ジャズに1巡全体21位指名されたが、その後2005年のNBAドラフト1巡指名権と引き替えに交渉権がダラス・マーベリックスにトレードされた。ラスベガスで行われたNBAサマーリーグでは最初の2試合で平均14分に出場し、平均6リバウンドをあげた。2005-2006シーズンには右足の怪我で開幕から59試合に欠場するなど、2シーズンでわずか6試合の出場で平均0.7得点、1.8リバウンド、0.5ブロックにとどまり、2006年8月5日にマーベリックスから解雇された。
1994年9月29日に地方競馬の騎手免許を初めて取得。同年10月16日の名古屋競馬第1競走にてヨシタカクィーンで初騎乗し7着。続く第2競走でセルリアンフェアリに騎乗し初勝利を挙げる。1999年4月10日に中京競馬場で行われたあざみ賞（旧4歳500万円以下）にてスマイルマドンナでJRA初騎乗。16番人気で11着となる。2004年4月17日、阪神競馬場で行われた第8競走（4歳以上1000万円以下）をゲイリーファントムで制しJRA初勝利を挙げる。この年は155勝を挙げ、初の名古屋競馬リーディングジョッキーとなる。2005年、東海ステークスでミツアキサイレンスに騎乗し、JRA重賞初騎乗を果たし14着となる。 2006年1月30日、名古屋競馬第5競走（サラ3歳3組条件戦）をマウタンで逃げ切り優勝（10頭立て1番人気）し、8190戦目で地方競馬通算1000勝達成。2007年、高松宮記念でモンローブロンドに騎乗し、JRAGI競走初騎乗となったが、最下位18着となる。同年5月31日からマカオに短期免許で遠征。6月23日に遠征21戦目にしてマカオ初勝利を挙げ、6月30日にはマカオスターオブザサンドステークス（マカオローカル G2）を12頭立て最低人気（単勝73倍）だった I am Famous で制し、遠征2勝目がマカオ重賞初勝利となった。現地では9月1日まで騎乗し、合計7勝を挙げた。2008年6月6日、ヒシウォーシイで東海ダービー初制覇。2010年9月15日、名古屋競馬第5競走にて地方競馬通算2000勝を達成。2011年10月23日、第72回菊花賞にJRA所属馬に騎乗し中央競馬八大競走に初騎乗した。2012年11月22日、笠松競馬第10競走にて地方競馬通算2500勝を達成。2019年2月28日の名古屋競馬で1日8勝の地方競馬新記録を達成した（NARに記録が残る1973年以後）。また、前日27日の第12競走からの8騎乗機会連続勝利も同日に併せて記録している。