张灵甫积极参与之余，深感学生的软弱无力。1925年，张灵甫从师范学校毕业后，与同学数人赴河南，投入胡景翼部驻豫（国民二军）军官训练团。此时，黄埔军校正在开封秘密招生；他经友人介绍，通过考试被录取。在上海转接秘密关系时，遇到陕西乡党（同乡）老同盟会员于右任，请其写介绍信。是年秋，与刘志丹等陕西青年到达广州，进黄埔军校第四期步科。当时，按考生考试成绩分为军官团和预备军官团，张灵甫编在预备军官团第二连。1926年10月，张灵甫在黄埔军校毕业，被分配到国民革命军第一军第二师当见习军官，旋任第一团第二营第三连