随后任中原野战军十一纵政委，参加豫东战役、淮海战役。1949年，任第二野战军第五兵团副政委，参加渡江战役。1949年，出任南京市副市长，随后任中共中央西南局委员。中华人民共和国成立后，任中共重庆市委第二书记、第一书记。1952年，调入中央，任中央人民政府第二机械工业部副部长。1955年，任城市建设总局局长；同年改第三机械工业部部长。1956年，改任电机制造工业部部长。1957年，任煤炭工业部部长。“文化大革命”期间，因被诬陷为彭真党羽而被折磨致死。1975年，中共中央发布《关于为张霖之同志恢复名誉的通知》，