，而浦上氏的反赤松势力的中心人物岛村盛实在天文3年6月以「先代主君的遗命」为由，突袭能家所在的砥石城，当时城内无兵，加上能家已经年老，而且不良于行，最终自杀。
直家时期.能家自杀后，其子未有尝试抵抗便逃走，其嫡子八郎（其后的宇喜多直家）由乳母带到备前福冈，及后兴家父子又逃至备后国。其后，在阿部善定的协助下，重返备前福冈，兴家最终更迎娶其女，两人之间诞下宇喜多忠家和。另一方面，据传直家与继母的关系不佳，因此寄养在下笠加村（现冈山县濑户内市邑久町下笠加）的大乐院，由伯母养大。天文5年（