任命直次为德川赖宣的家老（御附家老）；之后直次还是参与幕政，并担任远江国横须贺藩主‧大须贺忠次的监护人。从庆长19年（1614年）开始的大坂之战，直次代替年幼的赖宣率军参战；但长男‧安藤重能不幸在大坂夏之阵中战死。元和3年（1617年）、担任远江国挂川城主。元和5年（1619年）7月19日、赖宣转封到纪伊国和歌山城，直次做为纪伊藩附家老也一同转移，并受封纪伊国田边城3万8000石的领地。直次深受赖宣的信任，日后赖宣也曾说「多亏了直次自己才能够成为大名」。宽永12年（1635年）5月13日逝世，墓所位