由于出仕于白河天皇宠妃、近臣和，因此他得已成为，并且在永长2年（1097年），将与伊贺国东大寺领关系深厚的阿拜郡鞆田村、柘植乡、山田郡山田村（现三重县伊贺市）等家地和农田予六条院领，建立了，从而开始插手公家事宜。其后的康和3年（1101年）亦与东大寺在大和国十市郡和城上郡的领土问题展开争论，翌年又与伊势神宫之间爆发领土分界的问题，最终成功取得这些地区的控制权，并且将农民编作自己的武士团，及后在嘉承3年（1108年）1月29日，于出云国爆发的中击败源义家次子源义亲，手持义亲的首级凯旋而归，加上由于在元永年间（