因为为忠的姐姐妙向尼是森可成的正室，林氏在森家中有一定的发言力，身为嫡男，在年轻时期开始已经是家中重臣。天正10年（1582年），在甲州征伐中进攻高远城时，与各务元正争夺进入城构内屋敷的一番枪，此时首先杀死敌人而立下功绩。甲州征伐后，跟随森长可前往信浓国川中岛。在镇压芋川亲正的一揆后，接替稻叶贞通成为饭山城城代。在本能寺之变后，长可从信浓国撤退，此时父亲通安等林氏一门担任先阵并护卫长可。在长可归还金山城后，前往东美浓国参加讨伐反抗长可的诸氏，以5百人攻陷奥村元广守备的大森城，并令守备高山城的平井光行