隠居后的忠直出家，号一伯，被流放到丰后国府内藩（现在的大分市），于1650年过世，年五十六。法名西巖院殿前越前太守源三位相公相誉莲友大居士，之后改为西巖院殿相誉莲友大居士。在大分市王子西町的见佛山净土寺、大分市津守的朝日寺、和歌山县高野町的高野山、文京区白山的深广山净土寺、鲭江市神明町的长久寺、品川区南品川的补陀落山海晏寺等地点都有其墓地。
官职位阶履历.※日期＝旧暦