常生活都非常穷困，不过即使是收获甚微，为了将来家康返回而作准备，着力于俭约蓄财而广为人知。这种即使在贫苦环境下忍耐，以及于合战中不惜性命而战的忠诚心，在后世被称为「」，名声得到提高，而且这种风气就是在当时由忠吉植下。永禄3年（1560年），家康在桶狭间之战中从军，于今川义元战死后，从大树寺进入冈崎城，在看见从以前储下的财物后，家康对忠吉表示感谢并说「在困苦中，还能储蓄」（）。此后以高齢为理由，留守在冈崎城。作为忠义的老臣，连朝廷亦有所知，永禄11年（1569年）11月，后奈良天皇第13回忌时，在家康对朝