女婿关武兵卫仕于榊原康政等，可见对丰臣家的忠诚不深。在秀吉死后不久，与家康互通。庆长4年（1599年），在发生武断派七将袭撃石田三成的骚动时，前往担仕家康警备。翌年（1600年），在关原之战中，属于有马则赖军，在战后加增5百石。同年，经池田辉政仲介，与森忠政会面，与18年不和的森宗家和解。在江户幕府成立后，成为家康的直臣。庆长9年（1604年），叙任对马守。
复归森家.此后，忠政向家康请求，希望可政复归。庆长17年（1612年），回到美作国津山的忠政之下，被赐予5千石所领（后来加增