没有孩子，不久之后，义直立侧室于佐井成为继室，而于佐井从京都回到江户。其他较有名的侧室，就只有二代藩主光友的母亲，于尉之方。庆安二年（1649年），义直的中风复发，翌年，庆安三年（1650年）5月7日，义直逝世，享年五十岁。义直的墓在尾张国的定光寺，谥号是敬公，正式的法名是尾张二品亚相尾阳侯源敬公神主。
官职位阶履历.※日期＝旧历