Garang pochodził z najliczniejszego na południu Sudanu plemienia Dinków. Brał udział w I sudańskiej wojnie domowej, a po jej zakończeniu (1972) wstąpił do armii, gdzie dosłużył się stopnia pułkownika. Studiował w Stanach Zjednoczonych.