被隆房等人反击而失势，出家并在肥后隐居，不过在天文17年（1548年），因为义隆邀请而再次出仕。天文19年（1550年），与隆房的对立日渐严重，甚至被密谋暗杀，因为在事前察知并密告义隆，成功逃难。此后，为了回避与隆房的对立，于是提出以美貌知名的女儿嫁予陶长房（隆房的嫡男）等，不过因为全部失败，于是在同年9月16日，再度从大内家中出奔。天文20年（1551年）1月，在筑前国被筑前守护代杉兴连扣留，并令其返回周防。此时，写下「相良武任申状」向义隆辩解，在状中告知「隆房、兴盛等人企图谋反」，连杉重矩亦被告发，