しかし元文3年(1738年)に帰国途上の遠江白須賀において発病し、以後は政務を執ることも困難となったため、寛保3年(1743年)閏4月3日に家督を養子の茲胤に譲って隠居した。