督位置让给家政，于是在1586年成为了阿波国18万石的领主，并担任官职阿波守，上任不久立地筑起德岛城。据闻阿波舞亦由于筑城而诞生，但实际阿波舞的源由不明。1590年小田原征伐中，参与攻击韮山城的行动。他亦参与文禄·庆长之役，曾因为救援友军的行动，被石田三成斥责成扩大战线的行动，自此对三成怀有仇恨之心。在关原之战并没有直接参战，派遣其儿子上阵，由于至镇成功立下战功，可以保住领地，但是因为其行动被怀疑与西军私通，因此被迫剃发为僧，并且将家督让位给至镇，法号为蓬庵。家政在大坂之阵中表现了亲丰臣的立场，