直行为越来越荒谬，企图杀害正室胜姬（结局是侍女代她受害），甚至派兵去征讨自己家臣家（原因是其家臣永见右卫门的母亲据传是美女，忠直意图纳为侧室，被拒后将他们杀害）。将军秀忠在元和九年（1623年）时命忠直隠居，隠居后的忠直出家，号一伯，被流放到丰后国府内藩（现在的大分市），于1650年过世，年五十六。法名西巖院殿前越前太守源三位相公相誉莲友大居士，之后改为西巖院殿相誉莲友大居士。在大分市王子西町的见佛山净土寺、大分市津守的朝日寺、和歌山县高野町的高野山、文京区白山的深广山净土寺、鲭江市神明町的长久寺、