これ以後、公事は嫡男の忠成に任せて大胡に閑居し、そのまま慶長14年(1609年)12月に死去した。