Joseph is in die dorp Ladysmith (eMnambithi-distrik) in die KwaZulu-Natal provinsie van Suid-Afrika gebore. Sy ouers, Jonathan Mluwane Shabalala en Nomandla Elina Shabalala, het Joseph en sy ses broers en susters grootgemaak op 'n plaas met die naam Tugela. Sy vader is in die laat 1940's oorlede; Josef, wat die oudste was, moes vir die gesin sorg. Hy het die plaas egter in 1958 verlaat om werk in die nabye stad Durban te gaan soek.
In hierdie tyd is hy raakgesien deur 'n bekende groep, die Durban Choir, nadat hy gehore verheug het met sy gladde kitaarspeel en sopraanstem. Toe hy by die koor aangesluit het, het hy probeer om van sy nuwe komposisies te leer, naamlik sy eerste liedjie "Nomathemba" (wat in 1995 tot 'n toneelstuk gemaak is). Hulle het geweier, en daarom het hy hulle na slegs twee jaar verlaat.
In 1958 ontdek Joseph 'n isicathamiya groep, The Highlanders, gelei deur sy held Galiyane Hlatshwayo. Hlatshwayo was die man wat Josef aangemoedig het om sy stem kragtig te gebruik. In 1959 stig hy sy eie groep, Ezimnyama ('die swartes'). 'n Reeks drome wat Joseph in Desember 1960 in sy slaap gehad het, was 'n belangrike keerpunt in die vorming van die groep; toe hy sien hoe goed sy groep gevaar het in die eenmalige weeklikse isicathamiya-kompetisie, hernoem hy hulle na Ladysmith Black Mambazo, Mambazo wat byl beteken, en verwys na hoe die groep die ander kore afgekap het deur byna elke keer te wen.
Na die plaaslike radio-lugtyd (op die SABC-stasie Radio Zulu), aanvaar Joseph 'n opname-kontrak wat in 1972 aangebied is deur die Gallo Music-vervaardiger West Nkosi. Die groep het meer as 40 000 eksemplare van hul eerste album verkoop en dit deur middel van ander opnames ook baie eksemplare verkoop. In 1976 word Joseph 'n Christen, en die liedjies in die Mambazo-repertoire word na een kant geskuif om ook Christelike, Metodiste en Sionistiese liedere in die Zoeloe-taal in te sluit.
Die tragedie het weer in Junie 2004 plaasgevind toe Joseph se broer en voormalige Mambazo-lid Ben Shabalala deur 'n onbekende individu geskiet is terwyl hy sy twee kinders skool toe gery het. In Februarie 2006 sterf Joseph se broer Jockey (sy enigste broer in die groep teen hierdie tyd) aan natuurlike oorsake in sy huis in Ladysmith. Shabalala het in Januarie 2008 aangekondig dat sy jongste seun Thamsanqa sal oorneem as leier van Ladysmith Black Mambazo wanneer die tyd aanbreek vir hom om van internasionale toere af te sien.