1981年，调任中共上海市委，出任上海市委第二书记，人民代表大会恢复建制后，被选为上海市人民代表大会常务委员会主任。中共十二大连任中央委员会委员。1985年辞去中央委员，被增选为中共中央顾问委员会委员。1986年2月17日，儿子胡晓阳以强奸罪、流氓罪判处死刑。3月被枪决。2006年7月3日逝世，享年92岁。