1923年（民国12年）4月，张开儒任孙文的陆海军大元帅大本营参谋长。同年10月，改任参军长，获授陆军上将。1924年（民国13年）9月，任大本营高等顾问，不久辞任。此后赴澳门寓居。1927年（民国16年）回到昆明，任云南省政府顾问，为云南省政府主席龙云建言。1935年（民国24年）7月7日，张开儒在昆明逝世。享年67岁。