そこへ、高山城(現三原市)を居城としていた北朝の小早川氏が伊予へ攻め入る最中である康永元年(1342年)に茶臼山城にて双方が激突して小早川氏が勝利し、以降この地は小早川氏の領地となる。