内藤頼寧は幕末の情勢を見て藩内の軍備を西洋化して藩士に訓練させ、領内で演習させた。また江川英龍、肥田金之助、斎藤弥九郎、桂小五郎らを高遠に招聘したり藩士を派遣して訓練させている。内藤頼直の時、調練された軍隊は長州征伐、戊辰戦争における会津・越後戦争で官軍として出兵、越後戦争では若き日の西園寺公望の危急を救った。
鳥居家の時代に多数の百姓が逃散して藩内の田畑は無主状態が多くなり、荒廃した。このため鳥居家では明暦2年（1656年）から2年がかりで検地を藩全土で実施し、貢租の確保を図った。しかし鳥居家の2人の藩主はいずれも豪遊して藩財政を傾かせ、領民には重い賦役を課したようで現在に至るまで数多くの借用証文が残っており、田畑を担保にしたり、自分の妻子や家族を質草にして借用した証文も存在している。また寛文9年（1669年）12月などに年貢が納められないので妻子を担保にするなど、わずかな借金で妻子や家族を質入れして領民の生活が苦しめられていた。内藤家の時代では藩主長好の領国生活が原因で灯油など不必要な経費が浪費されて町民や農民の負担が増した。このため文政5年（1822年）にわらじ騒動（興津騒動）と称される藩領一揆にまで発展した。
鳥居家改易後、高遠藩は廃藩となり、元禄4年（1691年）まで天領となった。その後、河内富田林藩より内藤清枚が3万3000石で入る。第2代藩主・頼卿の時代から財政難が始まり、藩政改革が試みられた。正徳4年（1714年）3月の江島生島事件に関わり、高遠に流罪にされた絵島の身柄を預かっている。第3代藩主頼由は藩士に対して俸禄制を採用して財政問題解決に邁進した。第5代藩主の長好は幼少で藩主になった事情もあるが、自らが頻繁に外出して遠乗りや狩り、花火見物に視察などを繰り返して領民に負担をかけ、諸費用もかなりの額に上った。第7代藩主・頼寧は博学多才で、産物会所設置による産業奨励、学問の奨励、新田開発計画、藩直営の桑園経営などに手腕を発揮して藩政改革に成功を収めた。幕政においても日米関係の上申書を提出したり、兵備を西洋式に改変して藩士に訓練させた。安政6年（1859年）に最後の藩主となった内藤頼直は、藩校である進徳館の設立や長州征伐参加で活躍した。慶応4年（1868年）の戊辰戦争では新政府軍に与し、北越戦争・会津戦争に参戦した。明治2年（1869年）の版籍奉還で、頼直は藩知事となる。そして明治4年（1871年）の廃藩置県で高遠藩は廃藩となって高遠県となり、同年12月には筑摩県に編入された。
関ヶ原の戦いの後、高遠には正直の子正光が2万5000石で入部したことにより高遠藩が成立した。正光は慶長11年（1606年）の江戸城石垣修理や5年後の堀普請、大坂の役参戦など幕府に奉仕している。しかし正光には嗣子が無かったので、正光は第2代将軍・徳川秀忠の隠し子（生母が正室・於江与ではなかったため、その悋気に触れることを恐れた秀忠が正光に預けていた）である幸松こと保科正之を養育することになった。元和4年（1618年）には正之の養育料として筑摩郡に5000石を加増された。寛永6年（1629年）6月に正之は兄の第3代将軍徳川家光と初対面し、寛永8年（1631年）11月、正光の死により正之が家督と3万石を継いで従五位下肥後守に叙任されたが、この頃になると於江与が既に亡く、正之が秀忠の息子であることも周知の事実となったため、徳川家光の計らいにより、正之は寛永13年（1636年）7月に出羽山形藩20万石に加増移封された。
北欧では、「オッドゲイル」のサガが写本に残された時代を経て、近世になるとクリスチャン・ピーダセンが、パリ大学に在学中に、フランス語散文オジエ物語の印刷本『デンマルク人オジエ』（Ogier le Dannoys） を求め、帰国後デンマーク訳本を1534年に『ホルガー・ダンスク年代記』(Kong Holger Danskes Krønike)として出版した。このことにより、オジエ伝説がデンマーク民間により広く伝播した。このときピーダセンは、オルガー・ダンスクは、じつは、デンマークの王子で、ゴトリク王（デンマーク語: Gøtrik）の息子だとしている。サクソ・グラマティクスの『デンマーク人の事績』などによれば、ゴトリク王の息子の名はオーラーブであるが、それと同一人物だと説明した。。デンマークではさらにアンデルセンの童話や、クンツェンのオペラに『デンマーク人ホルガー』があり、またインゲマンの詩にゲバウアーが曲をつけた歌も知られている。ヨーロッパには(アーサー王やバルバロッサ)など、洞穴の眠れる巨人や英雄が、国の有事に復活するという伝説があるが、デンマークでもそういうした眠れるホルガー・ダンスク伝説が出現し、とりわけ、ペデルセンの郷土ヘルシンガー市にまつわりつくようになったといわれる。この都市の某ホテルがホルガーの銅像（1907年）を制作依頼し、その石膏型をクロンボー城の砲郭に置いたところ、そちらの方が一躍有名になった。しかし石膏像は湿気で劣化をおこし、1985年以来コンクリート像に置き換えられている。第二次世界大戦中は、ナチス・ドイツの占領に対するデンマークの抵抗分子が、「ホルガー・ダンスク」の名でレジスタンス運動を行なった。