居至新筑的内城，同时忠良也正式隐居于加世田城。但他仍对与琉球通商及对明国贸易、铁炮大量购入、家臣团的育成等有很大影响力。他也实行了城下町的整备、兴办养蚕产业等仁政，对岛津氏后来的发展基础作出贡献。忠良以儒教为核心的教育论反映到了四个孙子：义久、义弘、歳久、家久身上，甚至也构成了萨摩独特的士风，其影响一直持续到之后萨摩藩士的规范之中。忠良曾对四个孙子有如下评价：义久是德才兼备的总大将，义弘有着比他人更杰出的雄武英略，岁久始终深明利害智计百出，家久军法战术多有妙得。（）忠良笃信禅宗曹洞宗。1564年