长20年（1615年），在大坂夏之阵中，作为跟随浅野长晟出阵，因为违反军法而下野。在宽永元年（1624年）5月29日死去。
子孙.女儿成为长兄兼大垣藩藩主氏铁的养女，并嫁予公家六条有纯，诞下女儿永光院（万之方）；万之方在出家后，还俗并成为将军德川家光的侧室；而万之方的弟弟氏丰寄宿在氏铁之下，因为姐姐的推举，恢复并以高家身份仕于江户幕府的。