天武天皇と尼子娘の皇子、高市皇子の系統の高階氏一族で、八幡太郎義家の家人の高階惟章が義家の三男源義国とともに地方に下って下野国に住んだことにはじまる。