1年10月，胡公冕由陈望道、沈定一介绍，在杭州第一师范加入中国共产党，后去莫斯科东方大学学习。1922年1月，作为中国代表团成员，参加第三国际在莫斯科召开的远东各国共产党及民族革命团体第一次代表大会。1923年9月，以个人身份加入中国国民党，之后到福建许崇智处改造军队。1924年1月，作为浙江省代表参加了国民党第一次全国代表大会。会后参加黄埔军校筹建工作。1924年6月，黄埔军校正式开学，任黄埔军校管理部卫兵长。1924年12月，黄埔军校教导二团成立，担任一营党代表。国民革命军第一次东征时，调为第二营营