Garang era nato in una famiglia povera, di etnia Dinka, nel villaggio Wanglei in Bor del Darfur, nella regione del Nilo superiore, in Sudan ( Stato di Jonglei). Rimasto orfano all'età di dieci anni, venne mantenuto da un parente per frequentare la scuola prima a Waw e successivamente a Rumbek. Nel 1962 combatté nella prima guerra civile sudanese, ma data la sua giovane età i suoi leader lo incoraggiarono a proseguire gli studi. A causa dei combattimenti in corso, Garang fu costretto a frequentare una scuola secondaria in Tanzania. Avendo vinto una borsa di studio continuò conseguendo, nel 1969, un titolo di studio in economia al Grinnell College di Iowa, negli USA.