年（1586年）把女儿嫁给大友家家臣高桥绍运的次男高桥统增（立花直次），于是再次回到大友氏之下。因此，在同年的岩屋城之战中投向大友氏，领地被岛津氏进攻并夺去，此时在肥前攻防战中，弟弟晴门（右卫门大夫）在战死，之后儿子春门（左卫门丞）亦在高鸟居城与岛津方的单挑，最后被杀，而自身亦被岛津军捕获，被幽闭在。翌年（1587年），丰臣秀吉开始九州平定，在岛津军撤退后逃出，并集结家臣夺回旧领。因为此功，被赐予筑后国上妻郡1万8千石所领。文禄元年（1592年），参加文禄庆长之役，在小早川隆景配下的部队中奋战。庆长5年