頼信の嫡男として河内国石川郡壷井荘(現・大阪府羽曳野市壺井)の香炉峰の館に生まれ、弓の達人として若い頃から武勇の誉れ高く、今昔物語集などにその武勇譚が記載される。