加賀美遠光
また現在甲府市伊勢に所在する遠光寺(当時は臨済宗であったが、現在は日蓮宗)を創建したほか、遠光創建を伝える寺社も多い。
5人の息子がいるが、長男の秋山光朝は加々美荘から南方の大井荘に進出し、現在の南アルプス市秋山に居館を構え秋山氏を称した。平家嫡流である平重盛の娘を妻としていたため頼朝に滅ぼされたものの、その一族の活動が見られる。次男の小笠原長清は小笠原氏を、三男の南部光行は南部氏の祖となった。四男の光経が加賀美氏を継ぎ、五男の於曽光俊(経行)は奥州合戦の際に軍略で功を立てた。また、娘の大弐局は頼朝の子頼家・実朝2人の養育係を務めている。
一方、鎌倉では弘安8年(1285年)11月17日に安達泰盛・宗景父子が誅殺される霜月騒動が発生し、騒動では小笠原氏や秋山氏、南部氏など加賀美一族が連座している。このため在地においては加賀美一族は衰退し、戦国時代には代わって甲斐守護・武田氏の一族である武田大井氏が台頭する。