父の伊丹重賢は青蓮院宮尊融親王(後の久邇宮朝彦親王)に仕えた志士で、明治維新後は元老院議官や貴族院議員などを歴任、その功労により1896年(明治29年)男爵に叙された。