刘青山生于1916年,原名刘顺山,是河北安国县南章村人。出身在贫苦农民家庭,幼年即在博野县南白沙村当长工。15岁参加革命,所以也是红小鬼。1931年6月,刘青山经徐云甫介绍加入中国共产党。翌年,随中国工农红军第二十七军第一支队参加河北高蠡暴动,参与组织了中国工农红军冀中支队。这是在红军史上被人遗忘的一支部队,今天人们只知道战斗在江南、中原和西北的三个主力方面军和陕北红军,但是很少有人知道在冀中,也有这样一支红军小部队,刘青山就是这支部队的早期干部。后来,他被国民党逮捕入狱,在严刑逼供下坚贞不屈,表现出了坚强的党性。
刘青山(左)、张子善
1937年10月,刘青山被选送抗大学习。1941年3月,刘青山任中共大城县委书记。是年9月,调任中共任河(任邱、河间)县委书记。在残酷异常的1942年日军“五一大扫荡”中,他依靠群众,带领县大队进行了艰苦卓绝的反扫荡斗争,在人民中赢得了崇高的威信。1944年10月后,因为工作出色,调任中共冀中八地委城工部长、组织部长、地委副书记。1945年10月,任中共冀中八地委书记兼冀中军区第八军分区政治委员、地委党校校长,与任八军分区司令员的孙毅密切配合,为解放战争的胜利作了很多工作,解放后被授予中国人民解放军中将的孙毅和第一任天津市委书记的黄敬当时对他十分地赞许,以致当刘青山因为贪污被捕时,黄敬念及这位得力老部下当年的贡献,四处说情企图免其一死。1949年8月,刘青山任中共天津地委书记。在这个位置上,他开始利用权力为自己谋私利。1951年8月,任中共石家庄市委第一副书记。10月,作为中国青年友好代表团成员,出席在奥地利首都维也纳召开的世界青年和平友好联欢会。12月2日,出国归来的刘青山一下火车即被逮捕。