过正胜希望仕于秀吉侧近而辞退，于是让渡给嫡男家政，自己则没有进入阿波。之后与黑田孝高一同负责与毛利氏沟通，确定了中国地方的国境。在天正14年5月22日（1586年7月8日）于大坂城外的邸宅中死去。享年61岁。法名是福聚院殿良巖净张大居士。墓所在德岛县德岛市的眉山町以及同市下助任町的大雄山兴源寺，出身地爱知县海部市蜂须贺的池铃山莲华寺亦有与家政的共同墓碑。