1858年（安政5年）に櫻井甚太郎・八百夫妻の六男として金沢馬場一番丁（現・金沢市東山）に誕生した。幼名は錠五郎。父・甚太郎は加賀藩士、母・八百は甚太郎の後妻。長兄と次兄は甚太郎とその先妻の間に生まれている。5歳のときに父が病死し経済的な苦境に陥ったが、今後は学識が必要となると考えた母は、子供たちに充分な教育を受けさせた。錠五郎は1870年（明治2年）に藩立の英学校の致遠館に入り、医学者の三宅秀に師事した。さらに推挙されて七尾語学所に移り、加賀藩に招聘されたパーシヴァル・オズボーンから英語での教育を受けた。ここでは後に共同して理化学研究所を設立することとなる高峰譲吉も一時期教育を受けていた。翌年にすでに藩の貢進生として開成学校に入学し上京していた三兄・櫻井房記たちのもとに母とともに上京した。同年、13歳で大学南校（2年後に東京開成学校に、6年後に東京大学になる）に合格した。4年目からの本科では化学を専攻し、お雇い外国人のロバート・アトキンソンに師事した。5年目の1876年（明治9年）に文部省の国費留学生に選ばれ、杉浦重剛とともにロンドン大学へと留学した。ロンドン大学では1年目に化学の試験において首席をとり金メダルを受けた。また2年目においても首席をとり奨学金を受けた。研究においてはアトキンソンの師でもあったアレクサンダー・ウィリアムソンの指導を受け、有機水銀化合物の研究を行い、論文を2報発表した。この成果により1879年（明治12年）にロンドン化学会の会員に推挙され、終身会員となった。ここで1880年（明治13年）に英国人にもなじみやすい錠二に改名した。またファラデー金曜講演会のような場で、科学者以外の一般人が教養として科学を身につける文化について知り、それが彼の教育論に大きな影響を与えた。ロンドン大学は応用化学よりも理論化学を中心に研究を行っていた。彼は理論化学の重要性を感じ、帰国後もそれを主張し、主に物理化学分野で研究を行った。当時ヨーロッパの化学界では原子論についての論争が起きていたが、アトキンソンやウィリアムソンと同様に彼も原子論を支持する立場をとった。これらの主張が後に設立された東京化学会の中で大きな争いを巻き起こすことになった。櫻井は1881年（明治14年）に日本に帰国し、アトキンソンの後任として東京大学理学部講師となった。翌年には教授に昇進した。化学系の教授としては松井直吉に続いて日本で2人目であった。またこの年に加賀藩士の娘・岡田三と結婚した。1883年（明治16年）に東京化学会の会長となり、1885年（明治18年）まで務めた。当時東京化学会においては化学用語の訳語の統一が重大な課題として挙がっており、櫻井も訳語選定委員を務めていた。特に大きな問題になったのは化学と舎密学の対立であった。江戸時代に舎密の語が作られた当時には理論化学と呼べるような体系はまだ構築されていなかった。そのため、舎密は応用化学を指す語として受け入れられてきた。帝国時代になっても工業化学分野では根強い支持があった。1884年（明治17年）に化学を舎密学と改めることについての全会員73名による投票が行われ、賛成35名で否決されている（改定には2/3の賛成が必要とされていた）。このような状況下で櫻井は現在の物理化学の発展と化学が原子の運動を解析する学問となるであろうとする展望についての会長講演を行った。しかしこの講演はむしろ工業化学派の反感を呼んだと思われ、当時ドイツに滞在していた長井長義を会長として迎えるクーデター人事が翌年に行われた。その後、櫻井は化学会の役職からは長く遠ざかることになった。1886年（明治19年）に東京大学の帝国大学への改組により、東京帝国大学理科大学の教授となった。1887年（明治20年）に学位令が発布されたことにより翌年理学博士号を受けた。1892年には沸点上昇法による分子量測定の改良法を発表、1896年（明治29年）にはグリシンやアミノスルホン酸の水溶液の電気伝導度測定について報告し、グリシン溶液の伝導度が低いのは環状構造をとるためではないかと論じた（実際にはzwitter ion構造をとるためである）。1890年（明治23年）に櫻井は中沢岩太との間で理科教育論について論文で互いに批判を行っている。櫻井はイギリスでの体験から、初等教育から実験や理論化学について教えていくことが良いとしていた。それに対し、中沢は初等教育のうちに理論化学のような理学者向けの教育は不要と論じている。このような理論化学を軽視する傾向はドイツでの新規プロセスの開発の例を知る大学の研究者の間ではかなり薄れてきていたが、外国からの既存技術導入を優先した産業界では1930年代に外国からの技術導入が困難となるまで存続した。1896年（明治29年）に櫻井は役員として東京化学会の運営に復帰した。その一方で、少数派の大学研究者と多数派の産業界の技術者との間で潜在的な対立が深まっていた。対立の原因となった化学訳語論争は1881年（明治14年）に「化学訳語集」が出版されて一応決着がついていたが、1896年にその再版が提議された際に対立が再び表面化することになった。最終的には1898年（明治31年）に工業化学系の技術者は工業化学会を設立して東京化学会から分離独立した。化学訳語集の再版はなされなかったが、1900年（明治33年）に「化学語彙」という名で櫻井と高松豊吉の共著として化学会とは見かけ上独立した形で出版された。1898年（明治31年）に櫻井は東京学士会院の会員に選ばれた。ここで彼は「国家と理学」という講演を行って、国家として理学を振興することが国力の向上につながる旨を述べている。この後、彼は科学を振興する国家プロジェクトに力を注いでいった。1899年（明治32年）にドイツ化学会から櫻井を通じて東京化学会に原子量表作成の国際プロジェクトへの参加要請があった。1884年（明治17年）に行った会長講演で櫻井が原子論支持者であることは海外にも知られていた。そこで最大会員数を擁する工業化学会ではなく、東京化学会が海外との連携の中心となった。1901年（明治34年）にはグラスゴー大学から名誉博士号を授与された。1903年（明治36年）には東京化学会の会長に再び就任、以後1904年、1909年、1910年、1912年、1915年に会長を務めた。1907年（明治40年）には東京帝国大学理科大学長に就任した。1907年（明治40年）には教授在職25周年祝賀会が門下生によって開かれ、祝賀金を受け取った。これを櫻井は全額東京化学会へと寄付した。これは櫻井化学研究奨励資金と名づけられ、この基金をもとに櫻井褒章が設立された。櫻井褒章は1910年（明治43年）から1947年（昭和22年）まで授与され、工業化学会との再統合後は日本化学会賞となった。1912年（大正元年）8月13日、濱尾総長の辞任により、翌年5月9日までの間、東京帝国大学総長の事務取扱の任にあたった。1912年（明治45年）5月に高峰譲吉はアドレナリンの発見により帝国学士院賞を受賞した。1913年（大正2年）に高峰は「国民科学研究所の設立について」と題する講演を行った。同様の提案はすでに何人かが行っていたが、高峰の提案を機に研究所設立の計画がスタートした。これに櫻井は渋沢栄一らとともに積極的にかかわった。また1914年（大正3年）に第一次世界大戦が始まり、ドイツからの化学製品の輸入が滞ると、研究所の設立が急務となった。こうして1917年（大正6年）に理化学研究所が設立され、櫻井は初代の副所長となった。1919年（大正8年）に櫻井は東京帝国大学の教授職を辞した。当時はまだ定年退職制の是非が議論されている最中であった。彼は定年制を支持していたため、還暦をもって辞任したのであった。なお定年制は、その後同じく定年制支持者であった古在由直が翌年に総長に就任し、1922年（大正10年）から東京帝国大学全体で実施されることになった。1920年（大正9年）6月2日、貴族院勅選議員に任じられた。1921年（大正9年）に大河内正敏が理研の3代目の所長となった。この際に櫻井は副所長から退いた。翌年、主任研究員制度が発足すると、櫻井は自分の門下生のほか、鈴木梅太郎や喜多源逸を抜擢している。1923年（大正11年）にメルボルンにおいて開催された第2回汎太平洋学術会議に出席し、3回目の会議を東京へと招聘した。1926年（大正14年）に開催された同会議では議長を務めた。1925年（大正13年）に万国学術研究会議の傘下である学術研究会議の会長、1926年（大正14年）には帝国学士院長と枢密院顧問官に就任した。1928年（昭和3年）英語教授研究所（現語学教育研究所）の理事長に就任した。1932年（昭和7年）には自身らの提案で設立された日本学術振興会の理事長に任命された。1937年（昭和12年）万国学術協会副会長として総会に出席するために訪欧し、母校のロンドン大学を訪れた。名誉学友として推薦された返礼として晩餐会において演説を行った。1939年（昭和14年）薨去。享年81歳。死に際して男爵位と勲一等旭日桐花大綬章が追贈された。