任上海市市长朱镕基出访欧洲，受到赏识。翌年被任命为上海市计划委员会主任，以54岁的年龄进入政界。1991年8月，徐匡迪被提升为上海市副市长，三个月后当选中共上海市委常委，两年后又晋升中共上海市委副书记。1995年2月，接任上海市市长，同年又当选为中国工程院院士。这使他成为中国第一位拥有“院士”资格的市长。2001年12月7日，徐匡迪突然辞去了上海市市长的职务。次年年初，被宣布出任中国工程院党组书记，并在当年5月当选中国工程院院长。2003年3月，在第十届全国政协第一次会议上，徐匡迪又当选为全国政协副