经济不稳的困局被迫于1935年关闭上海和广州的分行。虽然如此，林子丰作为香港知名潮商，仍于1937年至1939年当选香港潮州商会会长。此外，透过在越南经商的影响力，他于1935年协助促成国民政府与法属越南政府签订《中法越南商约》乙部，事后于1936年获越南皇室颁授龙纹宝星勋章以资肯定。然而，1939年第二次世界大战爆发后，林子丰的银行业务受到进一步打击，到1941年12月太平洋战争爆发和香港沦陷后，全数业务更告停顿。一直到1945年香港重光后，嘉华储蓄银行才于香港重新开业，随后于1949年1月易名为嘉华银行