骨董屋「斑鳩堂」を祖父から受け継いだ主人公・斑鳩天平の下に一人の若い女性が訪ねてきた。古くから店常連であったの串本老人の孫娘、高野京子だった。祖父が他界し、遺された一軒の家に従姉妹の「吉野瞳」「熊野めぐみ」の三人で共同生活を始めたのだが、実はその家ではポルターガイスト(騒霊)現象が発生し困っていた。霊に詳しい祖父が何か手掛かりを残していないかと家の中を調べた三人は自分たち宛ての書き置きを発見し、その内容に従って天平に助けを求めてきたのだという。京子に勧められるまま彼女らと同居することになった天平は、串本老人の残した使い魔「テネブル」と共にポルターガイストの正体を追うことになった。
19世紀の初め、1804年4月26日からフランス軍竜騎兵がシュマレンベルクに数か月間滞在した。1807年9月22日にシュマレンベルク市は、ヴェストファーレン公領の地方再編により、アムト・メーデバッハから分離され、アムト・フレーデブルクに編入された。解放戦争の間、この街やその周辺に軍隊が何度も宿営した。1803年11月1日、ロシア皇帝軍が市域から横断し、周辺集落のいくつかに宿営した。ロシア皇帝軍の将軍ケルナはその後1813年11月14日に歩兵と騎兵を伴ってシュマレンベルクに入城した。シュマレンベルク住民による饗応の後、彼は同行者とともに移動した。続く数週間にさらなる軍隊の通過があった。1814年2月21日に1,500人を超えるロシア皇帝軍の新兵がこの街に参集した。彼らは他の軍勢が到着するまで2日間この街に留まった。総勢 3,000となった連隊は1814年2月23日にザールハウゼン方面に向かって出発した。1815年にはザクセン 軍の行軍があった。解放戦争末期の1815年6月3日から6月7日に、1,464人の兵士がシュマレンベルクとアムト・フレーデブルクにまたもや宿営した。ナポレオン戦争後、シュマレンベルクを含むヴェストファーレン公領は、1816年にプロイセン領となった。1822年10月31日の壊滅的な火災によって、115棟の家屋の大部分が焼失した。わずか16軒の住居と教区教会だけが焼け残った。この火災によって、冬のために保存されていた食料や飼料も焼失した。こうした窮地に対して周辺集落の住民たちが最低限の食糧を分け与え、シュマレンベルク住民を救った。提供された食物はブライ（粥）に加工された。この偏った食事によって「ブライベルゲン」（直訳すると「粥腹」）と呼ばれる体型が生じた。この頃シュマレンベルク住民は近隣住民から「De Schmallersken Breybälge」（シュマレンベルクの粥腹）と呼ばれていた。市の中心部にある像がこの事件を物語っている。この火災の後、シュマレンベルクの計画的復興に伴い、ルートヴィヒ・フォン・ヴィンケの協力の下、街はかなり拡張された。復興はプロイセンの新古典主義様式で行われた。これ以後街の中心部には2本の並行した本通りが設けられ、横道が規則的に両者を結ぶ構造となった。本通りは火災の延焼を防ぐため広く造られた。1825年秋ヴィンケはこの仕事を完了した。後に彼は、合意された適切な計画に従って街の再建がなされたことを非常に喜んでいると、現地の建設委員会に宛てて書き送った。19世紀の地元の生活環境に適合するよう深く配慮された建設計画や、木組み建築とスレート葺きの屋根が創り出す街の景観は、内市街に「歴史的中核部」の称号をもたらした。1826年にすでに設けられていた書簡の集荷所は、1834年に郵便集配所に拡張された。ヴェストファーレン州で最初の自治体法の発効によって、1841年にアムト・シュマレンベルクが創設された。1842年に現在の連邦道 B236号線にあたる、グライドルフへの道が建設され、1844年にフレッケンベルクまで延長された。同じ年、街の北部の旧国境防塞跡地であった「シュリンゲン」と呼ばれる湿地に公園と牧草地が設けられた。1849年にグラーフシャフトへの道が、1856年にはヴォルムバッハへの道が建設された。1850年以後にシュマレンベルクの繊維産業が興った。1855年6月1日、新たに設立されたシュマレンベルク市貯蓄銀行がオスト通り41番地で営業を開始した。1857年春に猩紅熱が、8月に赤痢が流行した。市の年代記の記録によれば、この2つの疫病で多くの子供が死亡した。同じ年にユダヤ教会は当時のノルト通りにシナゴーグを建設した。1888年にアルテンフンデムへの鉄道路線の駅がシュマレンベルクに設けられた。この路線は1911年にシュマレンベルクからさらにヴェンホルトハウゼンに延伸された。1881年7月16日には、後の郵便局にシュマレンベルクで最初の電話機が設置された。1889年に国民学校が開校した。新しいアムトハウス（アムトの行政府、現在は市庁舎の保護文化財に指定されている部分）が1897年に運用開始された。この建物は第一次世界大戦中に拡張された。アーヘンの聖堂建築家ヨーゼフ・ブーフクレーマーの設計に基づいて、1905年から1906年に司祭館がネオロマネスク様式で拡張された。1910年ヴェスト通りの建物が市に買い取られ、最初の病院に改築された。1938年の排斥運動（「水晶の夜」）にシュマレンベルクのシナゴーグは焼失した。現在シナゴーゲン通りの跡地には記念プレートが掲げられている。このプレートはアウシュヴィッツに送致され、シュマレンベルクに生還したドイツのユダヤ教信者ハンス・フランケンタールの主導によって設けられた。シュマレンベルクのユダヤ教信者の家は荒らされ、破壊された。7人のユダヤ人男性が逮捕された。ホロコーストのユダヤ人犠牲者を悼んで、36基の「躓きの石」が設置されている。シュマレンベルクは、第二次世界大戦中の1945年4月7日、ルール・ポケットの間に、空爆による支援を受けたアメリカ軍第7歩兵師団によってグライドルフやグラーフシャフトに次いで占領された。シュマレンベルク周辺の激しい戦闘で72人のドイツ兵と11人の民間人が死亡した。350人の兵士が捕虜となった。37棟の建物が焼失し、151棟が損傷した。シュマレンベルクへの攻撃は、おそらくアメリカ軍によるものと思われる 32 mm フィルムに記録されている。