东祐相更在天保元年（1830年）建立藩校振徳堂，培育出阿万丰藏、落合双石等人才。但饫肥藩也因此财政日益困难，在嘉永4年（1851年）减少藩士三分之一的俸禄，更在安政4年（1857年）发佈俭约令。饫肥藩在明治时代随萨摩藩参与新政府方，在戊辰战争中负责二条城和甲府城的守备。明治2年（1869年）时，13代藩主伊东祐相引退，由长男伊东祐归继为第14代藩主，在明治4年（1871年）废藩置县时，饫肥藩被改为饫肥县，伊东祐归迁往东京居住，在明治17年（1884年）被列为子爵，而饫肥县又和都城县、宫崎县、鹿儿岛县再置