1932年10月，胡步三在东北以店员、店主的身份谋生。之后胡步三参加东北抗日义勇军，在唐聚五麾下担任炮兵团军需官、书记长等职位。1933年赶赴察南参加察哈尔抗日同盟军，1934年兵败后流落于门头沟、下花园等地，一度成为了煤矿工人。1938年，胡步三加入八路军，在刘建章所属的八路军五支队政治部工作，重新与中共党组织取得联络。1939年，胡步三重新加入中国共产党。此后至1943年，胡步三历任冀南第五军分区宣教科科长，第五专区专员公署总务科科长、视导主任，冀县县长，冀南行政公署总务科科长，冀南第六专署粮食局局长等