Jang var sønn av marskalk Jang Song U og generalløytnant Jang Song Gil. Han ble utdannet ved Kim Il-sungs militærhøyskole og ved Kim Il-sungs partihøyskole. Han studerte også ved Moskvauniversitetet. Han giftet sig med Kim Kyong-hui i 1972 og steg deretter i ledelseshierarkiet i Koreas arbeiderparti. Under det senere del av 1970-årene kunne det synes som om han hadde falt i unåde på grunn av en utsvevende livsstil. Han ble utnevnt til sjef for et stålverk i Nampo, men i 1985 ble han utnevnt til sjef for sentralkomitéens avdeling for ungdomsaktiviteter.