安永5年(1776年)9月3日(異説として安永6年(1777年))、鳥居忠見(第3代藩主鳥居忠意の四男)の次男として生まれる。