Kalla er sønn av en forretningsmann som hadde 17 barn. Etter skolegang i hjembyen ble han student på Hasanuddin University, hvor han studerte økonomi. Han ble også aktiv i politikk og støttet general Suharto i hans kamp mot president Sukarno. Men etter at han fikk sin eksamen på universitetet, gikk han inn i farens firma, NV Hadji Kalla. Dette drev han godt og utvidet ganske mye, slik at han etter hvert var engasjert i hotelldrift, anleggsarbeid, han solgte biler og drev innen shipping, transport og flere andre aktiviteter. I 1977 fullførte han også et studium på INSEAD. Han ble også engasjert i organisasjonsarbeid innenfor næringslivet. Han bygget også Al Markaz-moskeen og var engasjert i aktivitet der.