しかし軍令違反を咎められ、一時上野国吾妻に蟄居させられたが、後に赦免され大番、組頭にすすみ、慶長15年(1610年)2月3日、山城国伏見にて没した。