5千石所领（后来加增至5千3百石）。而且因为两个妹妹分别是森家的重臣小泽彦八和各务正休的妻子，所以在森家中持有很大的发言力，不过与同僚井户宇右卫门的关系恶劣，双方曾多次发生争执。
森家臣时期.庆长8年（1603年），忠政因为在关原之战的战功，被移封至美作国津山藩，并计划在院庄建立新的城池。此时，显现出想杀死宇右卫门的举动，不过因为忠政的命令而停止，被忠政赐予名刀（『关原军记大成』）。此后，在工事现场遇到宇右卫门，与对方争执，更拔刀并袭击宇右卫门，却反遭宇右卫门一刀斩倒，而宇右卫门亦