Musa al-Kadhim ble født under konflikten mellom Abbasidene og Ummayadene, og var fire år gammel da As-Saffāḥ, den første Abbasid kalifen, overtok tronen. Hans mor, Hamidah, var en tidligere slave fra enten Berbery eller Andalucía. Al-Kadhim vokste opp i en stor familie, med ni søstre og seks brødre. Hans eldste bror Ismail døde før sin far Jaffar al-Sadiq, som hadde stillingen som Imam. Ifølge tolver-sekten som er majoriteten av sjiamuslimene, ble Musa al Kadhim valgt av guddommelig orden og utpekt av sin far som neste imamen.