18年（1590年），在家康移至关东后被赐予上总茂原5千石。在庆长5年（1600年）的关原之战中跟随德川秀忠，但是被真田昌幸、信繁父子拖延行军。庆长6年（1601年），被家康赐予骏河沼津2万石并成为大名。因为嫡男忠兼早逝，于是想收当时是幕府旗本的八弟忠教为养子来继承家族，不过忠教以「不是自己的功勲」为由固辞。在庆长18年（1613年）9月27日死去，享年77歳。沼津藩因为无嗣断绝而被改易。