但是在庆长18年（1613年），大久保忠隣的养女（石川康通（或石川忠义）的女儿）与嫡男重信擅自结婚，因此遭到幕府问罪并改易，于是被逼在武藏的龙稳寺中蛰居。这次事件是受到在大久保长安死后的大久保长安事件的牵连。在蛰居后亦极希望能复兴山口家，在翌年的大坂之役开始时，向德川家康进言「让自身加入丰臣氏后，暗杀丰臣秀赖，以此来换取御家的再兴」（），不过被家康拒绝。在庆长20年（1615年）的夏之阵中，属于井伊直孝军并在若江之战中奋战，不过长男重信因为过于深入敌阵而被木村重成杀死，而弟弟重克亦战死。后来，因为