。然而，此战因与独断专行的家臣渡边了有所冲突，因此相互决别。家康死去之际，是唯一随侍在侧的外样大名。家康死后继续侍奉第2代将军德川秀忠。内政方面，包括上野城、津城的城下町建设以及地方的农地开发、寺社复兴等等，藩政因此确立。后接受幕府命令担任陆奥会津藩、赞岐高松藩及肥后熊本藩的后见役职务，派遣家臣协助藩政的执行。晚年眼睛患病因而失明。宽永7年（1630年）10月5日于江户的藤堂藩邸病逝，终年75岁。墓所在东京都台东区上野恩赐公园。家督由长男高次继承。1915年（大正4年）11月10日获赠从三位