懐古園の敷地の多くは、懐古園保存研（会）・（宗教法人懐古神社）が、小諸市に賃貸することにより、賃借料を得ている。従来の賃借料は、懐古園の入場料（入場者数）を基礎にスライド制とされていたが、平成4年から定額制となっている。小諸市が、日本国憲法の規定により、宗教法人懐古神社を特権的に扱うことは許されないが、その行政用語をめぐって誤解を招いた点を、平成26年6月の定例市議会の中で、小諸市長は認めている（こもろ市議会だより156号・P,11）。宗教法人懐古神社は、氏子数が50余名と極めて少ない。その氏子は小諸藩の士族出身者の子孫・関係者であり、かつ小諸市在住者で構成されていることが特徴的であり、懐古神社の祭神に信仰心を持っている一般の小諸市民は、氏子になることができない。懐古神社の祭神には、天満宮・火魂社など、一般になじみの深い祭神も奉られている。信濃毎日新聞社・東信ジャーナルをはじめとする地元マスコミの記事、及び小諸市議会議員が議会で質問を行うにあたっては、懐古神社崇敬会を指して、士族会・旧士族会・小諸士族会などと呼称していることもある。また一部の小諸市議会議員等は、宗教法人懐古神社に対して、懐古園主要部の土地を、小諸市に寄付すべきだとの主張を表明している。
宝治元年（1247年）、遠山景朝の子で、明知遠山氏の始祖・遠山三郎兵衛景重が明知城を築き、代々守護したという室町時代は、『花営三代記』の応永28年（1422年）の記事に遠山明智小太郎景時、同小太郎景氏、応永30年（1423年）の記事に遠山明智小太郎、文安元年（1444年）の『文安年中御番帳』に遠山明知大蔵少輔がみえる。戦国時代の遠山氏の宗家は岩村城主の岩村遠山氏で、遠山一族は美濃国恵那郡およびその周辺に勢力を持ち、「遠山七家（遠山七頭）」と称された。その内の岩村遠山氏・明知遠山氏・苗木遠山氏を、「三遠山（遠山三頭）」と呼んだ。伝えによれば、遠山景保の子供の遠山直景は大永年間（1521年前後）に明知城を退去し、士卒180名を率いて北条早雲の配下に入ったとされるが、このいきさつは定かではない。 天文12年（1543年）に遠山景行（惣四郎）が当主となった。天文24年（1555年）頃から、遠山諸氏は甲斐・信濃を領する武田氏に属していたが、同時に尾張の織田信長の年下の叔母おつやの方とも婚姻関係を結んでいた。岩村城城主であった遠山景任が病死すると武田とは関係が悪化した。元亀元年（1570年）12月、武田信玄の重臣　秋山虎繁が、遠山氏の領地に侵入した際に勃発した上村合戦で遠山景行は秋山虎繁（信友）の軍勢に破れて自刃。嫡男・景玄も戦死した。景行の嫡孫・遠山一行（与助）が居たが、幼少のために景行の次男で叔父の遠山友治が城主代行となった。元亀3年（1572年）12月、 武田氏の西上作戦が開始されると、織田方となっていた遠山氏は攻撃を受け、岩村城は降伏。このときに明知遠山氏の一族が相模に行き北条氏に仕え武蔵遠山氏となったという説がある。ただし武蔵遠山氏の初代は景行のおじ・直景で、彼が東国へ移動した理由は不詳である。天正2年（1574年）、武田勝頼の家臣山県昌景の侵攻で明知城は陥落し(明知城の戦い)、景行の次男で城主代行の遠山友治も討死にした。友治も討死にして累代が絶えたことから、家臣一同が相談して遠山利景（勘右衛門）が、飯高山満昌寺の住持から還俗して跡を継いだ。天正3年（1575年）の長篠の戦いで武田氏が衰退し織田方の攻勢で利景は小里城を落とし、明知城も明知遠山氏の下に戻った。(東濃の戦い)しかし天正10年（1582年）本能寺の変後、羽柴秀吉についた森長可が苗木城主遠山友忠を追い東美濃を制圧、これをみて利景は妻の実家である足助鈴木氏を頼り、一行とともに三河足助城へ逃れた。小牧・長久手の戦いのなかで一時的に利景は明知城を奪回したが、和睦により森氏に返還されてしまった。その後、遠山一行・利景は家康に従った。天正13年（1585年）、一行が依田康国の下で小諸城を守る。天正16年（1586年）冬、利景の養子となっていた一行は、信州から駿府へ向かう途中、甲信国境の平沢峠で大雪のため凍死している。慶長5年（1600年）の関ヶ原の合戦では、森氏から代わって明知城を領した岩村城主田丸直昌が西軍についたため、利景は田丸方の守る明知城を落城させ、その功で戦後に旧領回復を成し遂げて江戸幕府成立後は6531石の交代寄合となり、串原遠山氏が代々家老となった。しかし一国一城令のため、利景の子・遠山方景（勘右衛門）のとき明知城を取り壊し、明知城の大手門前に明知陣屋を構えて本拠地としたが、5代目の遠山伊清の時に江戸常駐となり陣屋の代官を村上氏に任せて廃藩置県まで継続した。12代遠山景高は安芸守となりペリー来航時の浦賀奉行を務める。景高の五男信任は高家武田家に養子に入った。方景の孫による分家からは、江戸後期に著名な遠山景元が出ているが、その父は永井氏の出身の養子であり、血縁はない。明知遠山氏の一族は、松山城を構える伊予松山藩（愛媛県松山市）の藩主久松松平氏に仕えたという 。この系統は遠山九字直違の家紋を使用している。なおアール・エフ・ラジオ日本の会長・遠山景久の家の家紋も遠山九字直違である。