代藩主内藤赖卿起，开始财政出现危机。这个时候开始进行藩政改革，此时亦发生了江岛生岛事件。到了第七代藩主内藤赖宁开始实行鼓励发展产业、教育、开发新田发经营桑园，因而改革成功，但是该地百姓报来因草鞋暴动爆发一揆，藩政再次不稳定。1859年，最后一任藩主内藤赖直上任，设立藩校进德馆以及参加长州征讨。1868年戊辰战争被编入新政府军。1869年幕府实行版籍奉还，赖直成为高远藩知事。1871年高远藩因废藩置县而废藩，领地成为了高远县，同年12月被篇入到筑摩县。