しかし、元亀元年（1570年）に、松永久秀が織田氏から離反したため、再び松永氏の侵攻を受け、同年2月には久秀に差し出していた8歳の娘が殺され、同3月には居城を追われた（『多聞院日記』）。
但元龟元年（1570年），松永久秀自织田氏离反，再度受到松永氏侵攻，同年2月女儿被久秀杀害，3月居城被夺走。