1902年4月，胡步三出生于河北阜平县，1918年高级小学毕业后回家务农，当年进入富平县乡村师范学校就读，1919年担任小学教员。1920年，胡步三进入保定第二师范学校就读，1923年加入中国社会主义青年团，1924年转为中国共产党党员，同时以个人身份加入中国国民党。1925年春，胡步三担任中共保定地方委员会委员兼中国国民党保定市党部负责人，五卅运动后担任保定雪耻委员会委员、保定学联常委。1925年9月，保定第二师范学校的校舍在军阀混战中被强征为战地医院，学校被迫停止授课。胡步三随后前往张家口负责工人运动工作，之后又前往北京雪耻会工作。当年11月进入广州黄埔军校学习，在校期间担任中共连部党支书和步兵第二团党总支委员。1926年10月毕业后，胡步三一度留校担任卫生队长，12月前往哈尔滨担任中共北满地方委员会军运委员。在哈尔滨期间，胡步三的对外公开身份是吉林省第六中学的教师。1926年12月至1927年10月，升任中共北满地方委员会负责人，期间受地委书记吴丽实委派，在哈尔滨南岗举办了军事训练班。同时胡步三还负责护送前往莫斯科东方劳动者共产主义大学学习的中共学员从哈尔滨出发至海参崴。1927年初，胡步三前往武汉，2月抵达上海，3月在上海工人第三次武装起义中担任南市指挥员，起义成功后担任南市工人纠察大队长。4月返回武汉，以列席代表的身份参加中国共产党第五次全国代表大会，会后被任命为中共中央军事委员会中央特务工作处下属的匪运股负责人，专门负责联络各种帮会组织。7月，胡步三返回哈尔滨重建中共北满地委，并于当年8月至10月担任中共北满地委书记。1927年10月至1928年9月负责中共满洲省临时委员会的军委工作。1928年赶赴长白山一带做土匪和大刀会的工作。之后中共满洲省委被破坏，1929年2月起，胡步三失去了和中共党组织的联系。