1062年，贞任等在最北的砦厨川栅（岩手县盛冈市）被杀害后，宗任等人投降，被源义家押往京都。根据《平家物语》剑卷的记载，其间，他曾用创作和歌嘲讽京都的殿上人。此后，他被流放到四国的伊予国，居住在今日今治市的富田地区三年。治历3年（1067年），再度流放到九州筑前国宗像郡的筑前大岛。