武蔵国多摩郡(現東京都八王子市)横山荘を中心に、勢力を持っていた武蔵七党のひとつ横山党の嫡男として生まれる。