胡建枢知事不可缓，遂督各勇援崖而上，夺取山隘，互斗多时，阵毙匪徒十一名，生擒二十六人，匪众溃败”，“该守胡建枢提讯所擒匪徒厉云贵等，供认听从厉用九拒敌不讳。”后来，胡建枢任山东按察使。宣统三年冬，山东独立取消，胡建枢任清朝山东巡抚，仅任职49天就被袁世凯的亲信张广建取代，后者出任中华民国山东都督。此后，胡建枢携儿子离开济南赴青岛居住。刚到青岛时，胡建枢住在三江会馆，其间曾为三江子弟捐款办小学堂。后来他在黄岛路设公馆，参与社会活动，并同清朝遗臣交往密切。1913年2月，任职于德华大学的清朝遗老蒋楷病故