于上海市，江绵恒中学时曾就读于上海曹杨二中，1977年毕业于复旦大学物理二系，1982年于中国科学院半导体研究所获得硕士学位，后到中国科学院上海冶金所从事科研工作。1986年9月赴美国留学，从事高温超导材料和半导体物理方面的研究工作，1991年6月在美国费城卓克索大学获得电机工程学博士学位，后在美国惠普公司工作。1993年1月回到中国科学院上海冶金所，其工作重点为促进科研成果产业化以及研究所的组织和管理等方面。1997年7月任上海冶金所所长。取得博士学位八年之后，江绵恒于1999年11月出任中国科学院副院长