入黄埔军校，担任上尉书记，成为蒋中正的贴身秘书和机要。陈舜畊也在黄埔军校教学，教授化学、物理等学科。陈舜畊也曾是林彪、胡琏、张灵甫、许光达、李弥等的老师，日后他的学生有很多都成为中共或国民党的要人。1927年，蒋中正誓师北伐统一中国大陆，陈舜畊任国民革命军总司令部少校秘书，并掌管总司令部关防印章和密电码本。陈舜畊经常背个大皮包，伴随蒋中正。当北伐攻打南昌对阵军阀孙传芳时，陈舜畊曾伴随蒋中正步行跋涉七小时，从高安县赶抵奉新前线，随蒋督战。北伐军攻占南京后，蒋中正曾在1928年一度下野，赴日本。陈舜畊也