その後、大久保忠隣の養女を正室に迎えたが、その縁談が正式な幕府の許可を受けていないものとされたため、慶長18年（1613年）1月6日に父・重政は改易され、父と共に武蔵国入間郡越生庄の龍穏寺に蟄居させられた。
之后迎大久保忠邻的养女为正室，不过因为没有得到幕府正式许可，因此父亲重政在庆长18年（1613年）1月6日被改易，与父亲一同被逼在武藏国入间郡越生庄的龙稳寺中蛰居。