中试甲午科举人。以捐班知府分发湖北候补，历任启新书院中学堂副监督、湖北武备学堂监督、湖北省立造币厂总办。光绪三十四年（1908年）2月，经湖广总督张之洞推荐，高凌霨升任湖北提学使。宣统二年（1910年）9月，升任湖北布政使。宣统三年（1911年）10月武昌起义爆发，高凌霨前往上海避难。
北洋政府.民国元年（1912年），高凌霨加入共和党任干事。次年，奉北京政府之命负责改组国内各省的银行。此后历署直隷省财政司司长兼直隷省征税调査处及国税筹备处处长。当时，高凌霨和驻保定的陆军第3师师长