接秘密关系时，遇到陕西乡党（同乡）老同盟会员于右任，请其写介绍信。是年秋，与刘志丹等陕西青年到达广州，进黄埔军校第四期步科。当时，按考生考试成绩分为军官团和预备军官团，张灵甫编在预备军官团第二连。1926年10月，张灵甫在黄埔军校毕业，被分配到国民革命军第一军第二师当见习军官，旋任第一团第二营第三连第三排排长，随军北伐。张灵甫所在第二营奉命进攻德安马回岭之敌。他根据敌强我弱之情况，建议夜战偷袭，被营长採纳。随即带领全排当尖兵，乘黑夜袭击敌人获胜，在战斗中，右腿负伤；战后升为第二营第三连连长。1928