しかし、大坂の陣で登用した家臣を養うのが困難なほど困窮し、1620年(元和6年)6月に食録返上を願い出、同年8月に死去した。