波加利荘の立荘時期は不明だが、平安時代後期には武蔵七党のひとつで武蔵国横山荘(東京都八王子市)を本拠とした横山党の一族が古郡郷へ入部し、横山義孝(義隆)の子・忠重は都留郡古郡郷(上野原市上野原付近)に進出し古郡氏を称した。