1908年2月6日出生于山西省定襄县蒋村,原名薄书存。1922年从定襄第一高小毕业,考进山西省立国民师范学校,开始接受五四运动新思想和马列主义影响。1925年5月,他在大革命的洪流中参加了国民师范学校学生声援太原市民反房税斗争。同年6月,又组织国民师范学校学生参加声援五卅爱国运动。1925年秋加入中国共产主义青年团,同年12月转为中国共产党党员。入党后,他组建了国民师范学校党支部,任支部书记。1926年夏,任中共太原地方执委会北部地区委员会副书记,从事党的组织、宣传和群众工作,领导了同山西国民党新右派的斗争。大革命失败后,任中共山西临时省委委员,赴晋北恢复、重建党组织。1929年至1931年,在北平、天津、唐山等地从事兵运工作,先后任中共天津市委士兵工作委员会书记、平汉线北段兵暴委员会书记、顺直省委军委常委,参与组织和领导了唐山兵变和平汉线北段兵变等斗争。由于白区工作环境险恶,斗争复杂,他四次被捕,两次入狱,保持了共产党员的崇高气节。1931年6月,由于省委军委负责人叛变,河北省委及所属许多机关遭到破坏,薄一波同志在北平被捕,被判刑8年,关进“北平军人反省分院”(即草岚子监狱),从此开始了长达5年的监狱生活。在狱中,被关押的共产党员逐步形成了一个以党支部干事会为核心的坚强战斗集体,任党支部干事、书记,同敌人进行了坚决斗争。1935年5、6月间,薄一波、殷鉴等12名共产党人因拒绝“反省”而被北平国民党军法部门内定处以死刑。由于南京国民党政府的批复尚未下达,负责对监狱政治犯行刑的国民党宪兵第三团根据“何梅协定”立即南撤,这12位同志才幸免于难。