Black var av indiansk avstamming, og moren hans hadde flyttet fra Cheyennereservatet i Oklahoma da hun ble enke mens hun gikk gravid med Jimmy Carl. Han begynte tidlig å spille trompet, men skiftet til trommer på slutten av 1950-tallet for å kunne spille rock'n'roll. På begynnelsen av 1960-tallet hadde han bandet The Soul Giants, hvor Frank Zappa kom inn som gitarist. Ifølge Jimmy Carl Black (på hans selvbiografiske plate, ) hadde Zappa i løpet av 14 dager overtatt som leder i bandet, og de skiftet navn til , senere endret til .