父は壬生藩江戸家老・鳥居志摩(忠敦)。