此前的1千石归还幕府，再被赐予弟弟丰义。正室是高家大泽基宿的女儿。宽永5年（1628年），因故而把家督让予9岁的儿子矩丰并隐居。在宽永7年（1630年）死去。法名是法云院殿桂岳道荣日润大居士。墓所在武藏国碑文谷法华寺，后来改为自证院，在明治时代改葬青山灵园。