Zhang wurde im Juli 1950 in Beijing geboren und wuchs in der Stadt Weinan in der Provinz Shaanxi auf. Sein Vater, Zhang Zongxun, war ebenfalls General in der Volksbefreiungsarmee. Er und der Vater von Präsident Xi Jinping waren Kameraden in der Armee in den 1940ern. Zhang Youxia trat im Jahr 1968 in die Volksbefreiungsarmee ein. Im Jahr 1979 nahm er als Kommandant am Chinesisch-Vietnamesischen Krieg teil. Beim chinesisch-vietnamesischen Grenzkonflikt im Jahr 1984 agierte er als Oberst.