鳥居耀蔵
実父は大学頭を務めた江戸幕府儒者の林述斎。父方の祖父の松平乗薀は美濃岩村藩の第3代藩主、乗薀の実父は吉宗の下で享保の改革を進めた老中松平乗邑である。旗本鳥居成純の長女・登与の婿として養嗣子となり、鳥居家を継ぐ。弟に日米和親条約の交渉を行った林復斎が、甥に同じく幕末の外交交渉に当たった岩瀬忠震、堀利煕がいる。