Други судански грађански рат отпочео је 1983. године, а Џон Гаранг био је једна од воћа побуњеника. Исте године оформио је Народну армију за ослобођење Судана, која је бројала око 3.000 припадника. Након бројних успешних операција ова организација предвођена лидером Гарангом држала је већину територије данашњег Јужног Судана, тада познатог под именом „Нови Судан“. Године 2005. потписан је Свеобухватни мировни споразум у Најробију између Владе Судана и НАОС-а. Њиме је окончан рат, а Џон Гаранг је постао потпредседник Судана и први председник Јужног Судана. Међутим, његова владавина је кратко трајала, јер је 30. јула 2005. године погинуо у хеликоптерској несрећи након повратка из Уганде код места Њусајт у Јужном Судану. Наследио га је Салва Кир Мајардит. У главном граду Џуби, у знак захвалности као првом председнику Јужног Судана Гарангу је подигнут маузолеј.