00年），森氏被移封至信浓国川中岛后，再次成为饭山城城代并领有8千石，同年，因为各务元正死去而成为家中第一家老。庆长8年（1603年），森氏移封至美作国津山藩后，井户宇右卫门和名古屋山三郎发生冲突，最后2人死亡，井户一门因为忠政的指示而被肃清。此时为忠等林氏一族在川中岛向后任的松平忠辉交接领地，在前往美作国的途中得知井户一族被诛杀，于是被激怒，因此一族没有入国而出奔。出奔后的林氏一门受安艺国广岛藩藩主福岛正则招揽，于是得到2千5百石，而长男直亲得到1千74石，自传『林家觉书』亦是在成为福岛家臣的时代写成