日高市の巾着田は高麗川が蛇行した場所であり、曼珠沙華の花で有名である。以前は100万本としていたが近年の再調査により、これをはるかに上回る本数であると判明した。高麗駅から近く、春には菜の花、秋にはコスモスも楽しめる。巾着田から高麗川下流方面に行くと、聖天院（高麗山聖天院勝楽寺）や高麗神社がある。高麗神社は、高句麗（高麗）から渡来した高麗王若光を祀る神社である。716年にこの地に高麗郡が新設され、各地から移り住んだ渡来人とともに開拓を行ったと伝えられる。また聖天院は、高麗王若光の菩提寺として建立された寺院であり、高麗王廟などがある。巾着田近くの日和田山（305m）は、外秩父山地の尾根の末端部にある山である。高指山、物見山（375m）、北向地蔵、越上山（566m）、顔振峠（500m）、傘杉峠（550m）、関八州見晴台（770m）、飯盛山、苅場坂峠（刈場坂峠）と山並が続いており、県立奥武蔵自然公園（日高市・飯能市側）と県立黒山自然公園（毛呂山町・越生町・ときがわ町側）が接している。標高が低いのでハイキングや登山の入門コースとなっている。関八州見晴台に近い高貴山常楽院は、高山不動（高山不動尊）と呼ばれており、千葉の成田不動、東京の高幡不動と並ぶ関東三大不動のひとつである。推定樹齢800年の銀杏の大木がある。
飯能市街地の北に宮沢湖がある。1941年（昭和16年）に完成した灌漑用の人造湖である。市街地西側にある飯能河原は、山間部から平野部に出る入間川が蛇行した場所で、川遊びやバーベキューが楽しまれている。近くには、能仁寺、天覧山（195m）、多峰主山（271m）がある。
飯能市の大部分と、日高市の一部・入間市の一部を区域とする自然公園である。面積は21,839.0haで、1951年（昭和26年）3月9日に設定された。北側で県立黒山自然公園、西側で県立武甲自然公園、南側で秩父多摩甲斐国立公園に接している。
入間川（上流部は名栗川とも呼ばれる）や高麗川が流れる自然豊かな地域であり、県立奥武蔵自然公園が設定されている。地形的には秩父山地のうち、外秩父山地の南部・奥秩父山地の東端部、およびその東側の丘陵地帯にあたる。東南から北西に向かって、主に高麗川沿いを国道299号と西武鉄道（池袋線・西武秩父線）が通っている。西武池袋線沿いの南側の山並みを「飯能アルプス」と呼ぶ場合もある。高くて険しい山は余りなく、低山が多いためハイキングに適している。都心から近いため、行楽シーズンにはハイキングのほか多くの観光客が訪れる。道路が山頂近くまである山も存在しており、マイカーでの登山も行われている。標高が低い為、冬でも登れる山が多い。なお「奥武蔵」の名称は、周辺地域でも使われることがある。
舘家は、現在の野々市市本町を南北に走る石川県道179号野々市鶴来線(旧白山大道(はくさんおおみち)：大野街道とも呼ばれ、現野々市市を経て、現白山市白山町と現金沢市金石を結んだ道)と、東西に走る旧北陸道とが交わる交差点（現本町交差点）の横(現野々市市本町3丁目)にあった。野々市村では人の往来も物流も最も盛んな位置にあって、江戸時代から続く味噌醤油を商う商家であり、明治期には造り酒屋を営むほど勢いがあり、300石余の田地を持つ有力地主でもあった。舘残翁は先代八平の長男として生まれ、下に弟一人、妹二人がいた。本名は八平、幼名は幸太郎といい、母は野々市村の水毛生伊余門（伊右衛門）の長女恵津であった。水毛生家は、先祖が冨樫氏の家臣で、慶長年間には加賀藩の肝煎にも任ぜられている旧家であり、代々の当主は伊余門（伊右衛門）を名乗っている。幸太郎の最終学歴は尋常高等小学校であるが、幼い頃から才知に優れて学業成績が良く、性格は温厚だったが、独学によって知識と教養を高めようとする気鋭を持ち合わせていた。人前に出て目立つことを嫌ったため、公職などには一切就こうとしなかった。明治22年(1889年)、金沢市金石の岡田太四郎の次女・冨と結婚し、一男四女が誕生している。明治23年(1890年)の野々市大火で家屋や酒蔵を焼失した後は資金繰りが難しくなり、事業も思わしくない状態が続いた。昭和5年(1930年)に発生した昭和恐慌によって、ついに倒産に至り、住宅店舗の一切を失い、金沢市胡桃町（現金沢市兼六元町）で借家住まいを始めることになる。残翁を雅号としたのはこの頃からで、あたかも過去を振り切って決絶するかのように、冨樫氏と大乗寺の研究に没頭し、新聞・雑誌への研究成果寄稿も開始するようになった。戦時下にあっても図書館通いを続け、長男の住む東京への逗留によって東京大学や尊経閣文庫の資料閲覧を行うなど、研究の手を休めることはなかった。昭和22年(1947年)に80歳の生涯を閉じ、野々市の舘家代々の墓に葬られた。大乗寺には、残翁の記念碑が建てられている。