1923年毕业于陕西省第一师范学校，回家乡担任了一段时间的小学教师。1924年入北京大学历史系，后因无力负担学费于北大休学肄业。北京学生运动风起云涌，张灵甫积极参与之余，深感学生的软弱无力。1925年，张灵甫从师范学校毕业后，与同学数人赴河南，投入胡景翼部驻豫（国民二军）军官训练团。此时，黄埔军校正在开封秘密招生；他经友人介绍，通过考试被录取。在上海转接秘密关系时，遇到陕西乡党（同乡）老同盟会员于右任，请其写介绍信。是年秋，与刘志丹等陕西青年到达广州，进黄埔军校第四期步科。当时，按考生考试成绩分为军官团