宝永三年（1706年）1月11日，正式被委任大老一职。
晚年.宝永六年（1709年）2月，将军纲吉公逝世，德川家宣继任第六代将军，权力旋即转移于新将军侍讲新井白石与之手，吉保失势，黯然隐居，将家督交由嫡子吉里继承，其后专心营造六义园。正德11月2日病逝，享年57。法名永庆寺保山元养。大正元年（1912年），赠从三位。