亲子内亲王下嫁于江户幕府将军德川家茂，赖直便负责处理此事。文久2年（1862年），生麦事件爆发，赖直奉幕府之命动员藩军以防万一。元治元年（1864年），天狗党之乱爆发，虽然天狗党曾经路经信浓一带，但是高远藩未受影响。同年爆发的长州征讨，赖直亦有参战。庆应4年（1868年），戊辰战争爆发，赖直靠拢，由于藩军在北越战争和会津战争中协助西园寺公望而立下战功，赖直便获赏赐2000両。明治2年（1869年），版籍奉还后，赖直成为高远，并且在明治3年（1870年）制定新藩制。明治4年（1871年）7月14日，由