히데요시의 사후에는 도요토미 히데요리의 신하가 되었으나, 1599년 (게이쵸 4년)의 도쿠가와 이에야스암살계획사건의 주모자중 한명으로 죄를 문책당해, 시모사국으로 유배를 떠났다. 다음해, 1600년 (게이쵸 5년)의 세키가하라 전투 에서는 도쿠가와 이에야스가 이끄는 동군편에서 참전해 전공을 올렸다. 이로 인해 죄를 용서 받아 전쟁 후에 이에야스의 명으로 "도요토미 가문에 적의가 없다" 라는 내용의 이에야스의 서간을 가지고 오사카성에 간 후, 에도로 다시 돌아오지 않았다.