朝綱の何番目の子であるかについては、系図や資料によって異なり、次男とする説(宇都宮正統系図など)、三男とする説(下野国誌など)、五男とする説(五郎を名乗っていたため)など諸説あるが、この説においては、宇都宮氏の勢力基盤拡大のため、朝綱の子である公頼が氏家郷に根を下ろし、氏家氏を創始したとする。