その後間もなく召還され寛弘3年（1006年）1月28日の除目で右大臣・藤原顕光が伊勢守に推挙するが、「同族である致頼と伊勢国における覇権を巡り、数度に渡って抗争を展開していた」ことを理由に左大臣・藤原道長が強硬に反対する。
宽弘三年（1006年）一月二十八，新任（日语：除目）右大臣藤原显光（日语：藤原顕光）推举平维衡担任伊势守，可是遭左大臣藤原道长强烈反对；二人奏请一条天皇仲裁，而最后天皇认可藤原道长的意见，令平维衡只担任伊势守两个月就卸任。