945年8月，他参与八路军攻占牟平城的战伇。同年9月，报名参加八路军，编入胶东海军支队。同年10月，胶东海军支队赴牡丹江地区剿匪，因年数较其余参军者大，而被编为炊事员。同年11月，部队于此时重新编制，杨子荣被编在牡丹江军区二团三营七连一排一班。随后开赴龙口港，朝东北迈进，沿途攻占了吉北哈南一带的乌拉街、朝阳、舒兰、榆树、五常等城镇。在当时，牡丹江地区治安极差，盗匪四起，杨子荣所在之部队，担负着剿匪、土地改革的重任。1946年，首长派杨子荣等30多人，化装成海林镇居民，先行到达海林镇。同年1月，杨子荣加入