中国甲午战争战败后，出现了“实业救国”的思潮。1896年（光绪二十二年）2月1日，两江总督张之洞向光绪帝上《创设江南储材学堂摺》，奏请“就江宁省城创设储材学堂一区”，获光绪帝批准。张之洞在金陵同文馆（建于1883年）的基础上筹建江南储材学堂，校址设在仪凤门内三牌楼和会街。1897年6月建成，7月开学。高等班分交涉、农政、工艺、商务四类，学生名额120人。高等班之外另设专学英语、德语、法语的初等班，学生各40人，学毕升入高等班，这是中国早期分级学制的雏形。课程以外语、科学技术等西学为主，兼修中学。聘西学教习4名，交涉、农政高等班教习聘自法国、德国，工艺、商务高等班教习聘自英国。聘中学教习8名，先后有陈光宇、李瑞清、沈敦和、柳诒徵等人。学堂总办先后由杨兆鋆、蒯光典、吴可园、黎经诰等人担任。