だが元暦元年(1184年)8月に、本拠の伊勢・伊賀にて平田家継・伊藤忠清らと共に一族を糾合して反源氏の兵を挙げ、源氏方の守護・大内惟義以下の勢力に打撃を与えた。