しかし、久家の子能家が隠居し、興家の代となった天文3年(1534年)に、同じ浦上氏家臣の島村盛実らに離反の疑いをかけられて攻められ、能家は自害、興家と、わずかに6歳の幼子だった直家は放浪することとなる。