辉政一同加入东军。庆长8年（1603年）2月，在异母弟忠继被任命为备前国冈山藩藩主后，于3月进入冈山城，代替只有4岁的忠继执政，以实质的冈山领主身份，负责藩政。庆长9年（1604年），在领内实行庆长检地。另外，没有进行兵农分离的政策，并废止前冈山领主宇喜多秀家和小早川秀秋等人的夫役等，确立江户时期近代的体制。庆长10年（1605年），叙任从四位下侍从，兼任（此时是丰臣姓）。同年，迎德川秀忠的养女鹤姬（榊原康政的女儿）为正室，加强与幕府的关系。庆长12年（1607年）6月2日，转任武藏守，被赐予松平姓，改