6岁與家人來到上海。8岁在日商内外棉八厂当童工。1914年春，进入沪西工人补习学校学习，曾受到嵇直、邓中夏、李立三、恽代英等人教育。後被选为工人代表，在沪西中共组织负责人刘华领导下，组织工人罢工。1924年1月，经蔡三介绍加入中国共产党。五卅運動发生后，刘华被殺，葛耀山被捕并关押在提篮桥监狱。四个月后出狱，被逐出租界。后又參加上海工人三次武裝起義。1927年四一二事件後，4月16日，再次被捕，關押在枫林桥监狱，后出狱。1927年7月，赴蘇聯莫斯科中山大學學習。1930年8月回到中華民國，在上海闸北区负责工人运动。