元久2年(1205年)に叔父の平賀朝雅が牧氏事件に連座して誅された後、朝雅の有していた伊賀・伊勢の守護を継承し、在京御家人として京の都の治安維持などにあたった。