川义元战死后，从大树寺进入冈崎城，在看见从以前储下的财物后，家康对忠吉表示感谢并说「在困苦中，还能储蓄」（）。此后以高齢为理由，留守在冈崎城。作为忠义的老臣，连朝廷亦有所知，永禄11年（1569年）11月，后奈良天皇第13回忌时，在家康对朝廷献金并受正亲町天皇赞赏之际，山科言继特别将此事向鸟居伊贺入道（忠吉）送出书状（『言继卿记』）。在元龟3年（1572年）死去。墓所在次男本翁意伯担任住职的（现今爱知县西尾市）。家督由三男元忠继承。