尾道高等学校時代、全国高等学校総合体育大会水泳競技大会で優勝している。高校卒業後は広島商科大学（現広島修道大学）に進学、日本学生選手権水泳競技大会の100m、200m背泳ぎで2年連続優勝している。大学卒業後はフジタに入社し競技を続けた。1972年のミュンヘンオリンピックでは100m背泳ぎで8位、200m背泳ぎは予選敗退、田口信教・駒崎康弘・佐々木二郎との400mメドレーリレーで6位となった。1976年のモントリオールオリンピックでは100m背泳ぎで予選落ち、田口信教・原秀章・柳館毅とのメドレーリレーで8位となった。アジア競技大会では1970年、1974年の100m背泳ぎ、200m背泳ぎでそれぞれ金メダルを獲得している。日本選手権水泳競技大会の100m背泳ぎで1969年、1972年、1974年に優勝、200m背泳ぎで1972年に優勝している。現役引退後はNASスイミングクラブで指導を行っている。1996年のアトランタオリンピックでは日本代表のコーチを務めた。現在はシンガポールに住んでビッグウェーブスイミングスクールと言う子供用の水泳部のコーチとして働いてる。
山梨県の土木建築業の家に育った戸栗は、第二次世界大戦後の日本における欧米文化の普及を目にし、伝統的な日本文化を保存し後世に伝える必要があると考えた。1952年（昭和27年）に上京すると、殖産住宅相互の指定建築業者である「富士工務店」の代表として、同郷の小佐野賢治を補佐する傍ら、将来の展示公開を見据えて10年余り古民具や古道具の蒐集を行なった。1965年（昭和40年）頃からは、古美術に通じた友人たちの助言を得て、観賞用陶磁器を国内外で蒐集した。戸栗が戸栗美術館を設立するにあたり、1500点の美術工芸品、土地（松濤の旧鍋島藩屋敷跡）、建物、運営資金の寄付が行なわれた。戸栗美術館は1987年（昭和62年）に財団法人の認可を得、日本でも数少ない陶磁器専門の美術館として同年11月21日に開館した。収蔵品は2000年時点で5000点、2008年時点で7000点を数える。主な収蔵品は伊万里・鍋島などの肥前磁器、および中国・朝鮮の陶磁器である。2000年時点で、隣接地に別館を建設する計画が立てられている。
安政2年（1855年）、その山本家を紹介した奥平壱岐や、その実家である奥平家（中津藩家老の家柄）と不和になり、中津へ戻るようにとの知らせが届く。しかし諭吉本人は前年に中津を出立したときから中津へ戻るつもりなど毛頭なく、大坂を経て江戸へ出る計画を強行する。大坂へ到着すると、かつての父と同じく中津藩蔵屋敷に務めていた兄を訪ねる。すると兄から「江戸へは行くな」と引き止められ、大坂で蘭学を学ぶよう説得される。そこで大坂の中津藩蔵屋敷に居候しながら、当時「過所町の先生」と呼ばれ、他を圧倒していた足守藩下士で蘭学者・緒方洪庵の適塾（適々斎塾、のちの大阪大学）で学ぶこととなった。ところが腸チフスを患い、洪庵から「乃公はお前の病気を屹と診てやる。診てやるけれども、乃公が自分で処方することは出来ない。何分にも迷うてしまう。この薬あの薬と迷うて、あとになってそうでもなかったと言ってまた薬の加減をするというような訳けで、しまいには何の療治をしたか訳けが分からぬようになるというのは人情の免れぬことであるから、病は診てやるが執匙は外の医者に頼む。そのつもりにして居れ」（自伝）と告げられ、洪庵の朋友、内藤数馬から処置を施され、体力が回復すると一時中津へ帰国する。安政3年（1856年）、再び大坂へ出て学ぶ。同年、兄が死に福澤家の家督を継ぐことになる。しかし大坂遊学を諦めきれず、父の蔵書や家財道具を売り払って借金を完済したあと、母以外の親類から反対されるもこれを押し切って大坂の適塾で学んだ。学費を払う経済力はなかったため、諭吉が奥平壱岐から借り受けて密かに筆写した築城学の教科書（C.M.H.Pel,Handleiding tot de Kennis der Versterkingskunst,Hertogenbosch、1852年）を翻訳するという名目で適塾の食客（住み込み学生）として学ぶこととなる。安政4年（1857年）には最年少22歳で適塾の塾頭となり、後任に長与専斎を指名した。適塾ではオランダ語の原書を読み、あるいは筆写し、時にその記述に従って化学実験、簡易な理科実験などをしていた。ただし生来血を見るのが苦手であったため瀉血や手術解剖のたぐいには手を出さなかった。適塾は診療所が附設してあり、医学塾ではあったが、諭吉は医学を学んだというよりはオランダ語を学んだということのようである。また工芸技術にも熱心になり、化学（ケミスト）の道具を使って色の黒い硫酸を製造したところ、鶴田仙庵が頭からかぶって危うく怪我をしそうになったこともある。また、福岡藩主・黒田長溥が金80両を投じて購入した『ワンダーベルツ』と題する物理書を写本して、元素を配列してそこに積極消極（プラスマイナス）の順を定めることやファラデーの電気説（ファラデーの法則）を初めて知ることになる。こういった電気の新説などを知り、発電を試みたりもしたようである。ほかにも昆布や荒布からのヨジュウム単体の抽出、淀川に浮かべた小舟の上でのアンモニア製造などがある。