しかし、慶長20年（1615年）6月25日に大坂夏の陣において豊臣氏に内通していた嫌疑（密かに兵糧を大坂城に入れていた説あり）をかけられて改易される（理由については、駿府町奉行彦坂光正の許可を取らず、駿府城の大手門付近で家康に訴え出た家臣を捕らえる騒動を起こしたためともされる）。
庆长20年（1615年）6月25日，在大坂夏之阵中，被怀疑与丰臣氏内通（一说是秘密向大坂城运入兵粮），于是遭到改易（一说理由是，没有取得骏府町奉行彦坂光正的许可，在骏府城的大手门附近捕捉向家康申诉的家臣而引起骚动）。