平賀義信
治承4年(1180年)、源頼朝が挙兵、更に少し遅れて源義仲が信濃で挙兵する。この時の義信の動向は不明であるが、平家の全盛期は本拠地である信濃の佐久郡平賀郷に逼塞していたと考えられている。義仲は木曾から上州に移動した後に、小県郡丸子町依田を拠点として養和元年(1181年)6月に横田河原の戦いに臨んでいる。『玉葉』はこの戦いの反乱の信濃源氏軍を「木曽党」「サコ党」「武田之党」で構成されていると記しており、「サコ党」はすなわち佐久党と考えられており、佐久党の中心には平賀氏が存在していたと考えられている。
最終的には義朝の遺児で前述の逃避行を共にした頼朝の麾下に平賀氏は参じる。寿永2年(1183年)に頼朝が義仲を討つために軍を信濃に出陣し、結果的に義仲の長男・義高と頼朝の長女・大姫の縁組として和解しているが、この時の頼朝軍は碓氷峠を越えて佐久郡に入り、依田城を落して善光寺平で義仲軍と対峙している。この頼朝が義仲に対する優位性を確立した重要な争いにおいて、義仲が挙兵した場所であり、信濃における重要拠点といっていい佐久地方がほとんど無抵抗で制圧されていることから、それは佐久を本貫地とする平賀氏の協力なしになしえたとは考えられない。