国深谷1万石。在庆长7年（1602年）12月被加增移封至下总国佐仓5万石并元服而改名为上总介忠辉。庆长8年（1603年）2月，被加增移封至信浓国川中岛12万石（与上次移封只相差40天），于是姐夫花井吉成以家老的身份辅佐忠辉。庆长10年（1605年），秀忠在就任丰臣秀赖的右大臣时，家康下令忠辉前往大坂与秀赖会面。庆长11年（1606年），与伊达政宗的长女五郎八姬结婚。庆长14年（1609年），重臣皆川广照等人引起御家骚动而失势。庆长15年（1610年），被任命为越后高田藩藩主（福岛城城主，后述），此时