自此对三成怀有仇恨之心。在关原之战并没有直接参战，派遣其儿子上阵，由于至镇成功立下战功，可以保住领地，但是因为其行动被怀疑与西军私通，因此被迫剃发为僧，并且将家督让位给至镇，法号为蓬庵。家政在大坂之阵中表现了亲丰臣的立场，曾企图出兵到大坂城支援丰臣秀赖，但是被至镇阻止，而在夏之阵完结前才参战，但因为儿子至镇的战功才增封领地。1620年至镇病逝，由年仅十岁的忠英继续家督。在此期间，家政暂代忠英处理藩内政务，直到1629年长大成人为止。1638年病逝，终年81岁。他的墓所在德岛县德岛市兴源寺，法名为