总裁岑春煊失势，张开儒获释，被任命为护法滇军总司令。但是，被粤军陈炯明部解除了武装。1921年（民国10年）2月，孙文任命张开儒担任云南北伐军副总司令。1922年（民国11年）3月，顾品珍遭到驱逐并战死，唐继尧回云南重掌大权，张开儒率顾品珍余部赴广西柳州。同年6月，陈炯明同孙文决裂，张开儒率部赴广东讨伐陈炯明。途中，在广西桂平，张开儒的部下杨希闵夺取了张开儒的军权。1923年（民国12年）4月，张开儒任孙文的陆海军大元帅大本营参谋长。同年10月，改任参军长，获授陆军上将。1924年（民国13年）9月