だが、大坂に戻ってくるなり方広寺鐘銘問題が噴出し、これを契機に家康との内通を疑われるようになり、兄と共に豊臣氏の下を去って家康に仕えるようになり、大坂夏の陣の後、1615年、大和国小泉に1万6千石を知行された。
然而、大坂发生方广寺钟铭事件、被怀疑与家康内通、与兄长都离开豊臣氏，转投靠家康、大坂夏之阵后、1615年、受封大和国小泉1万6千石知行。