代藩主内藤赖宁的七子出生，由于兄长早死，赖直作为继承人在安政6年（1859年），其父赖宁隐居后接任家督。万延元年（1860年），赖直开创。文久元年（1861年），和宫亲子内亲王下嫁于江户幕府将军德川家茂，赖直便负责处理此事。文久2年（1862年），生麦事件爆发，赖直奉幕府之命动员藩军以防万一。元治元年（1864年），天狗党之乱爆发，虽然天狗党曾经路经信浓一带，但是高远藩未受影响。同年爆发的长州征讨，赖直亦有参战。庆应4年（1868年），戊辰战争爆发，赖直靠拢，由于藩军在北越战争和会津战争中协助西园寺