蔵人所に代々使えた下級官人の出身で、朝光が伊賀守に任じられて以降、伊賀氏を称した.
下級