出生在山西长子县的一个普通农民家庭。因家境贫寒，11个兄弟姐妹中，只有胡富国和两个妹妹长大成人。在母亲早逝后，兄妹三人由父亲一人抚养。1957年，胡富国初中学毕业后，在家乡担任公社会计、团支部书记、南刘乡政府干部；1958年，进入在长治市新成立的潞安矿务局煤校学习，并于1959年在学校加入中国共产党；1960年10月，被保送到阜新矿业学院采煤系煤层地下开采专业学习。
仕途.1964年大学毕业后，胡富国被分配到大同矿务局工作。此后，他在煤炭系统工作20多年；历任大同矿务局永定庄矿