市域内には5つの城館がある。城館はアントフェルト、ビッゲ、ブルーフハウゼン、ブルンスカペル、ゲヴェリングハウゼンの各地区にある。ベルンハルト・クリストフ・フォン・シャーデは1705年にアントフェルト城を建設した。この城館は、先代の建物跡に建てられたバロック様式三翼建築で、リップシュタットの建築マイスターであるニコラウス・ヴルムシュティヒによって建設された。ブルーフハウゼン城は、ブルーフハウザー・シュタイネの麓、高度約 450 m に建てられている。ゲヴェリングハウゼン城は同名の地区内にある。女性詩人のアネッテ・フォン・ドロステ＝ヒュルスホフは1824年と1831年に客としてこの城館に滞在した。おそらく1183年に建造されたシェレンシュタイン城は1270年に初めて文献に登場する。ヴィルデンベルク城には、グラーフシャフト領主家がグラーフシャフト修道院の代官として居住していた。クロプフシェス・ハウスは、元々はオルスベルクの同業組合の建物であった。この建物は18世紀の初めに建設され、その後何度も増改築が繰り返された。旧アドラー薬局は、背後部分が1678年に、全面部分は1769年または早くも1604年に建設された木組み建築である。19世紀にはここに薬局が入っていた。ビッゲの聖マルティン教会は後期バロック様式で建設された。この教会は11世紀から13世紀に造営された。1222年に聖マルティヌス教会として初めて文献に記録されている。注目すべきはオルガンの前面管である。その後大きなバラ窓を持つネオロマネスク様式の翼廊が設けられた。アシングハウゼンのロイゼン倉庫とライゼン倉庫はかつての十分の一税倉庫で、1556年に建設された。この倉庫はオルスベルクに現存する最も古い世俗建造物である。アシングハウゼンのグリンメハウスは1800年頃に学校の校舎として、フランケン式木組み建築様式で建設された。
アイゼンベルクでは、遅くとも14世紀中頃から鉄の採掘が行われてきた。フィリップ坑は見学者のために再び通れるようになっている。さらにヴルメリングハウゼンの坑道やヘルメリングハウゼンのヒラリウス坑もある。
ブルーフハウゼン、アシングハウゼン、ヴルメリングハウゼンの郷土博物館は、文化史上の大きな広がりを示している。ゲヴェリングハウゼンにはアフリカ博物館フォクトや郷土博物館「アルテ・ミューレ」がある。ブルーフハウゼン地区には歴史的な釘職人の鍛冶屋が、アシングハウゼンにはフリードリヒ＝ヴィルヘルム＝グリンメ記念館がある。
図柄: 黄色地と赤地に四分割。その上に浮かぶ黒いリング。リングが地色の境界を跨ぐ箇所に黒い四角形。解説: 黄色地と赤地に四分割するのは、現在オルスベルクに含まれる旧ブルンスカペル町の紋章に由来する。金と赤は、ブルンスカペルのグート・ヴィルデンベルクを本拠地としたグラーフシャフト家の代官の色である。4つの黒い四角形を持つ宙に浮いた黒いリングは、4つの岩からなるブルーフハウザー・シュタイネを持つイステンベルクのゲルマン時代の避難城砦を象徴している。また、ルール川、ネーガー川、エルペ川、メーデバッハ川あるいはギールスコップ川の4つの谷に点在するかつての町村が合併して形成されたオルスベルク市の重要な地域的特徴を示している。黒いリングはオルスベルクの頭文字「O」を示すものである。この紋章の公的な認可は1978年3月10日に発出された。旗の図柄: 長辺沿いに、黄色と赤の等幅7本のストライプ。旗竿寄りは黄色地の正方形で、その中に市の紋章の黒いリングが描かれている。幟の図柄: 長辺沿いに、黄色と赤の等幅7本のストライプ。旗竿寄りは黄色地の正方形で、その中に市の紋章の黒いリングが描かれている。印章の図柄: 印章には市の紋章の図柄と、輪郭に沿って上部に「Stadt Olsberg」、下部により小さな文字で「Hochsauerlandkreis」の文字が記されている。
オルスベルクの市長はヴォルフガング・フィッシャー (CDU) である。フィッシャーは2009年に 56.5 % の票を獲得して新たなオルスベルク市長に当選した。2014年の市長選挙で彼は、市長職を守った。
ハンターはアフリカ系アメリカ人を北軍の兵士として武装させることを強く提唱した。4月のプラスキ砦の戦い後にサウスカロライナ州の占領地域から黒人兵の徴兵を始め、北軍の連隊としては初めての第1サウスカロライナ（アフリカ系子孫）連隊を結成し、当初は解隊するよう連邦議会から命令されたが、最終的にその行動に対する承認を得た。第2の論争の種はハンターがジョージア州、サウスカロライナ州およびフロリダ州に奴隷を解放する命令を発したことから起こった。以下はその命令である。南部方面軍を構成するジョージア州、サウスカロライナ州およびフロリダ州の3州は、もはやアメリカ合衆国の保護下にないことを計画的に宣言し、その合衆国に対して武器を取ったが、戒厳令下にあることを宣言する軍事的な必要性を見出した。このことは1862年4月25日に成された。自由な国においては奴隷制と戒厳令は相容れないものである。これら3州、ジョージア州、サウスカロライナ州およびフロリダ州の人々はこれまで奴隷制を維持してきており、それ故に永久に自由を宣言する。 - デイビッド・ハンター少将、南部方面軍、命令第11号、1862年5月9日この命令は直ぐに、境界州で奴隷所有者をアメリカ連合国支持に駆り立てるという政治的影響力を心配したリンカーンによって取り消された（リンカーン自身の奴隷解放宣言は9月に宣言され1863年1月1日に効力を持った）。それでも南部はハンターの行動に激怒し、アメリカ連合国大統領ジェファーソン・デイヴィスは南軍に対して、ハンターは「捕まえた時には処刑すべき重犯罪人」と考えるべしという命令を発した。ハンターはフィッツ・ジョン・ポーター少将の軍法会議の議長を務め（第二次ブルランの戦いでのポーターの行動を有罪としたが、1878年の特別委員会で無罪とされた）、メリーランド方面作戦中のハーパーズ・フェリーの戦い（1862年9月）の損失を調査する委員会の委員長も務めた。またメキシコ湾方面軍の監察長官補も短期間務めた。