1927年，上海工人第三次武装起义成功，林钧在周恩来、李立三等领导下组织了工人纠察队，协助北伐军开入上海。此后，林钧按照周恩来的指示，筹组上海特别市临时市政府，任上海特别市临时市政府委员兼秘书长。他还当选为中国共产党第五次全国代表大会代表。在其领导下，川沙县王剑三等人从军阀手中夺取了川沙县政权。1927年4月12日，蒋介石发动四一二事件，屠杀中国共产党党员。林钧秘密到武汉参加中国共产党第五次全国代表大会，并当选为劳工部次长。7月15日，汪精卫、唐生智发动七一五事件，宁汉合流。林钧奉命到江西南昌参加南昌起