吉直属家臣，赐予信浓国祯岛城。庆长3年（1598年）秀吉死后，安政接进德川家康，被给予近江国小河7000石。庆长5年（1600年）关原之战隶属于东军，因功加增近江国高明郡，合计后为1万3000石大名。庆长12年（1607年）移转到江户城。在此时增封常陆国小田5000石，合计1万8000石。元和元年（1615年）参加大坂夏之阵有功，再增封信浓国饭山，合计3万2000石。为饭山藩祖。元和3年（1617年）担任德川秀忠的御伽众。宽永4年（1627年）在江户死去，享年73岁。