天正18年（1590年），丰臣秀吉发动小田原征伐，在后北条氏灭亡后，与父亲氏规一同前往高野山，不过在不久后被秀吉赦免。天正19年（1591年），养父氏直病死，此时以继承人身份被赐予下野4千石所领。翌年（1592年），在文禄庆长之役中于肥前名护屋从军。庆长5年（1600年），实父氏规死去，于是继承家督，被五大老之一的德川家康保证父亲的遗领河内狭山7千石，此时成为合计1万1千石的大名，并成为狭山藩初代藩主。同年，在关原之战中属于东军的西尾吉次队，于是保着本领，在家康就任将军后仕于德川氏。在庆长13年（1