1965年6月3日、三迫ジムよりプロデビュー。契約金は当時としては破格の500万円だった。日本ランカーのアトム畑井との6回戦に判定勝ち。1966年10月6日、ノンタイトル10回戦で、青木勝利に判定勝ち。1968年7月2日、日本武道館に8,000人の観客を集めてライオネル・ローズ（オーストラリア）の持つ世界バンタム級王座に挑戦。2回に左カウンターで王者を倒し、10回を終えた時点で3人のジャッジはいずれも49-47で桜井を支持（当時は15ラウンド・5ポイント制）。しかしこの後、右フックで反撃するローズに消極策をとり、最終的に72-72、71-72、70-72のマジョリティ・デシジョンで僅差判定負けを喫した。この試合を前に、ジム会長の三迫はカウンター対策としてカエル跳びパンチを桜井に練習させていたが、この練習を見ていた輪島功一が後に世界戦でそれを披露することになる。1969年5月23日、アメリカ合衆国カリフォルニア州で行われたノンタイトル10回戦で、ルーベン・オリバレス（メキシコ）と対戦。プロキャリア唯一の日本以外での試合でオリバレスからダウンを奪ったものの、6回逆転KO負けを喫した。1969年10月23日、OBF東洋バンタム級王座に挑戦。李元錫（韓国）に12回判定勝ちで王座獲得。以後1度防衛。1970年11月28日、ジョー・マロンゾ（フィリピン）に12回判定勝ちで2度目の防衛に成功。1971年6月、OBF東洋バンタム級王座返上および現役引退。二度目の世界タイトルに挑戦することなく、安全運転と言われた桜井らしい引退劇だった。プロ転向後はアマチュアボクシング界から裏切り者として扱われた上、ディフェンス重視のスタイルがプロで受け入れられず、陰では「しょせんアマ出身」と叩かれた。
1941年、千葉県佐原市に生まれる。幼少期の野山を駆け回る生活がボクシングでの勘を育んだと桜井は後に述懐している。千葉県立佐原第一高等学校（現在の千葉県立佐原高等学校）の定時制で学び、授業でボクシングを選択した。1960年にインターハイで優勝した際に中央大学ボクシング部から声がかかり、同大学に進学。2年先輩に日本で初めてボクシングで五輪メダリストとなった田辺清がおり、2年間合宿生活などをともにした。1963年、全日本アマチュアボクシング選手権大会優勝。1964年、東京オリンピックのバンタム級で金メダルを獲得。大会前には海外遠征を繰り返し、決勝では鄭申朝（韓国）に2回RSC勝ちを収めた。涙を見せなかったことを問われると、「水を飲んでいないから涙も出ない」と答えている。アマチュア通算戦績は、155戦138勝 (45KO・RSC) 13敗。オリンピック前から、大学の先輩がトレーナーをしていた縁で三迫仁志が会長を務める三迫ボクシングジムで練習していたが、当時のボクシング界はアマチュアとプロの交流がなく、桜井は「ばれたら代表からも外されていた」と後に語っている。プロボクシング界は桜井の争奪戦を展開したが、当初は東京五輪監督で大学の恩師でもあった田中宗夫の紹介で中央大学職員として就職が内定しており、「プロに行かず、大学に残る」と発表されていた。しかし、スポーツ紙が桜井の三迫ジム入りを1面に掲載すると大学側は激昂し、桜井はボクシング部から除籍されてOB会名簿にも載らず、文化章も取り消された。
1940年（昭和15年）7月22日に、第2次近衛内閣を組織した。7月26日に「基本国策要綱」を閣議決定し、「皇道の大精神に則りまづ日満支をその一環とする大東亜共栄圏の確立をはかる」（松岡外相の談話）構想を発表。新体制運動を展開し、全政党を自主的に解散させ、8月15日の民政党の解散をもって、日本に政党が存在しなくなり、「大正デモクラシー」などを経て日本に根付くと思われていた議会制政治は死を迎えた。しかし、一党独裁は日本の国体に相容れないとする「幕府批判論」もあって、会は政治運動の中核体という曖昧な地位に留まり、独裁政党の結成には至らず、10月12日に大政翼賛会の発足式で「綱領も宣言も不要」と新体制運動を投げ出した。また、新体制運動の核の一つであった経済新体制確立要綱が財界から反発を受け、近衛が当初商工大臣に据えようとした革新官僚の商工次官・岸信介は辞退したために代わりに任じた小林一三は経済新体制要綱の推進者である岸と対立、小林は岸を「アカ」と批判した。内務大臣となった平沼騏一郎は経済新体制確立要綱を骨抜きにさせて決着を図り、平沼らはさらに経済新体制確立要綱の原案作成者たちを共産主義者として逮捕させ、岸信介も辞職した。この間、新体制推進派は閣僚を辞職し、平沼は大政翼賛会を公事結社と規定し、大政翼賛会の新体制推進派を辞職させた。9月23日に北部仏印進駐。9月27日に日独伊三国軍事同盟を締結。第二次世界大戦における枢軸国の原型となった。11月10日には神武天皇の即位から2600年目に当たるとして紀元二千六百年記念式典を執り行って国威を発揚した。1941年（昭和16年）1月11日、任期満了に伴う4月の衆議院選挙を1年延期し、対米戦決意を明らかにし、国防国家建設に全力を挙げる態勢をとることで、近衛首相と風見章と有馬頼寧の意見が一致した。さらに近衛首相らは、1月20日、声明を発して対米戦気運を醸成するとともに大政翼賛会にて対米戦に備える国民運動を組織化することを決定したが、声明自体は取り止めになった。1941年（昭和16年）4月13日に日ソ中立条約を締結。近衞らは日米諒解案による交渉を目指すも、この内容が三国同盟を骨抜きにする点に松岡洋右は反発し、松岡による修正案がアメリカに送られたが、アメリカは修正案を黙殺した。6月22日に独ソ戦が勃発、ドイツ、イタリアと三国同盟を結んでいた日本は、独ソ戦争にどう対応するか、御前会議にかける新たな国策が直ちに求められた。陸軍は独ソ戦争を、仮想敵国ソビエトに対し軍事行動をとる千載一遇のチャンスととらえた。一方海軍も、この機に資源が豊富な南方へ進出しようと考えた。大本営政府連絡会議では松岡洋右は三国同盟に基づいてソ連への挟撃を訴えた。7月2日の御前会議で「情勢ノ推移ニ伴フ帝国国策要綱」が決定された。この国策の骨格は海軍が主張した南方進出と、松岡と陸軍が主張した対ソ戦の準備という二正面での作戦展開にあった。この決定を受けてソビエトに対しては7月7日いわゆる関東軍特種演習を発動し、演習名目で兵力を動員し、独ソ戦争の推移次第ではソビエトに攻め込むという作戦であった。一方南方に対して南部仏印への進駐を決定した。7月18日に内閣総辞職した。足枷でしかなかった松岡洋右を更迭するためであった（大日本帝国憲法では内閣総理大臣が閣僚を罷免できる権限が無かったため）。