安政4年(1857年)4月6日、父の後に家督を継いだ10代藩主・細川利永の養子となる。