林钧经香港回到上海。1928年，在中共江苏省委恽代英、彭湃等领导下，林钧建立了中共浦东区委。后来该区委扩大为中共淞浦特委，林钧任书记，委员有刘晓、严朴、杭果人等。1929年，林钧接替刘少奇任中共沪东区委书记。1930年初，林钧领导奉贤县庄行暴动时被国民政府逮捕。1935年，恰逢国民政府因为孙中山安葬南京而实行大赦，林钧获保释出狱。1936年，林钧同上海大学校友共同创办了华华中学，林钧任校长。1937年抗日战争爆发后，五卅小学遭日军炮轰毁灭。林钧获八路军驻沪办事处同意，在浦东创建了边区民众抗日自卫