永禄4年(1561年)に長島城代になるも、永禄8年(1565年)に不在の隙を突かれて織田氏の家臣・織田信興、滝川一益の侵攻を受け敗北し自身の所領の市江島に鯏浦城を、立田輪中には小木江城をそれぞれ建築され、織田氏によって領地に楔を打ち込まれた形となった。