1903年8月20日,出生于长安东大乡东大村。1921年,考入长安中学。1923年,考入北大历史系,期间同第一任妻子邢凤英结婚,后因无力负担学费而退学。1926年,张灵甫听从于右任的建议考入黄埔军校,成为黄埔四期学员,与后来的同僚胡琏、李弥,以及对手林彪、刘志丹是同学。黄埔四期毕业后,张灵甫被编入国民革命军第21师任步兵排见习官,不久见习合格升任排长,开始参加北伐战争。北伐结束后,张灵甫调入国民革命军第一师,在这个有“天下第一师”之称的嫡系部队中,张灵甫升迁至团长。1933年,年仅30岁的张灵甫就当上了第一师独立旅第1团上校团长。此时,张灵甫所在部队在四川与红四方面军交战,经部队朋友介绍,张灵甫与吴海兰相识。1933年冬,两人在四川广元拜堂成亲。—年后,女儿张清芳出世。1936年,张灵甫枪杀了结婚三载的第二任妻子吴海兰。东窗事发后,张灵甫遭到了妇女界的一致讨伐,胡宗南出于怜才,他没有执行蒋介石派人押解张灵甫到南京受审的命令,而是要求张灵甫自解南京。随后被判入狱10年,在南京“模范监狱”服刑。张灵甫被释放后,到西安南镇74军51师王耀武手下任上校候差员。1937年10月底,51师奉师南进,途经郑州时,需要成立一个补充团,张灵甫被任命为国民党第74军第51师第153旅第305团上校团长,因枪杀妻子事件在部队震动很大,改名张灵甫,10月初赶赴上海。12月5日,张灵甫率305团投入南京保卫战在淳化镇附近构建新阵地,阻击日军掩护王耀武51师退入南京。后被提升为153旅副旅长兼305团团长。1938年春,张灵甫被提升为153旅副旅长兼第305团团长。4月,51师在黄陂接受军委会校阅,获得军委会校阅官的优良考评,张灵甫305团的成绩在阅后评定中,名列全师第一。后擢升为51师153旅少将旅长。1940年,张灵甫被任命为74军第58师副师长。