元治元年（1864年），天狗党之乱爆发，虽然天狗党曾经路经信浓一带，但是高远藩未受影响。同年爆发的长州征讨，赖直亦有参战。庆应4年（1868年），戊辰战争爆发，赖直靠拢，由于藩军在北越战争和会津战争中协助西园寺公望而立下战功，赖直便获赏赐2000両。明治2年（1869年），版籍奉还后，赖直成为高远，并且在明治3年（1870年）制定新藩制。明治4年（1871年）7月14日，由于废藩置县，赖直被免职，并且在明治12年（1879年）死去。