一方この頃伊豆国の元の知行国主であった源頼政の敗死に伴い、伊豆国の知行国主は平清盛の義弟平時忠となり、それによって伊豆国衙の実権は伊東氏が握ることになり、源頼政に近かった工藤氏、北条氏は逼塞していくことになる。また治承三年の政変に伴う知行国主の変更により、坂東各地では新知行国主に近い存在となった平家家人や平家方目代により旧知行国主系の豪族達が圧迫されており、頼朝が挙兵した場合旧知行国主系豪族の協力が見込まれることが予想できた。
頼朝は安達盛長に源家累代の家人の動向を探らせた。『源平盛衰記』によると波多野義常は返答を渋り、山内首藤経俊に至っては「佐殿（頼朝）が平家を討とうなぞ、富士山と丈比べをし、鼠が猫をとるようなものだ」と嘲笑した。だが、大庭景義（大庭景親の兄）は快諾し、老齢の三浦義明は涙を流して喜び、一族を集めて御教書を披露して同心を確約した。千葉常胤、上総広常もみな承諾したという。三浦氏、千葉氏、上総氏はすべて平氏系目代から圧迫されていた存在だった。
山木館襲撃.
挙兵を前に、頼朝は工藤茂光、土肥実平、岡崎義実、天野遠景、佐々木盛綱、加藤景廉らを一人ずつ私室に呼び、それぞれと密談を行い「未だ口外せざるといえども、ひとえに汝を頼むによって話す」と言い、彼らは自分だけが特に頼りにされていると喜び奮起する。
しかし挙兵の前日に至っても、佐々木定綱、経高、盛綱、高綱ら佐々木兄弟が参ぜず、頼朝は盛綱に計画を漏らしたことを悔いた。挙兵の当日に兄弟が参着した。洪水により遅れ急ぎ疲れた彼らに対し、頼朝は涙を流してねぎらった。しかし当初の朝駈けによる襲撃計画はこの遅参によって狂ってしまった。
なお、兼隆の雑色男が頼朝の家の下女と恋仲で、その日も来ていた。多くの武者の集まっていると注進される恐れがあるので用心のため生け捕る。
頼朝はここで、明朝へ日延べせず今夜に山木館を襲撃すべしと命じ、「山木と雌雄を決して生涯の吉凶を図らん」と決意を述べる。また、山木の館を放火するよう命じ、それをもって襲撃の成否を確認したいと欲した。