大学做访问学者回国后，陈至立被提拔为中国科学院上海硅酸盐研究党委副书记；从而开始由学者转型成为中共官员。此后，陈至立历任中共上海市科技工作委员会党委副书记、书记，市委宣传部部长，市委常委、市委副书记等职。她是在1988年进入中共上海市委的；其间历经江泽民、朱镕基、吴邦国、黄菊等四任市委书记；在担任宣传部长时，曾发挥重要政治力量，被外界认为是所谓“上海帮”的重要成员之一。1997年8月，陈至立被任命为国家教育委员会党组书记、副主任；并在一年后，被任命为改组后新设立的教育部部长。2003年3月17日，中