移封至美作国津山藩后，井户宇右卫门和名古屋山三郎发生冲突，最后2人死亡，井户一门因为忠政的指示而被肃清。此时为忠等林氏一族在川中岛向后任的松平忠辉交接领地，在前往美作国的途中得知井户一族被诛杀，于是被激怒，因此一族没有入国而出奔。出奔后的林氏一门受安艺国广岛藩藩主福岛正则招揽，于是得到2千5百石，而长男直亲得到1千74石，自传『林家觉书』亦是在成为福岛家臣的时代写成。元和5年（1619年），福岛氏被改易后，在摄津国隐居。元和7年（1621年），受播磨国姬路藩藩主本多忠政登用，此时得到5千石，直亲得到