Mingus ble født på en militærbase i Arizona, siden faren var sersjant i U.S. Army. Han vokste opp i Watts i Los Angeles. Mingus hadde foreldre av svensk/afrikansk og kinesisk/afroamerikansk opprinnelse og fikk som barn undervisning på trombone og senere cello. Han spilte bass fra han var 16 år under veiledning av Red Callender og fikk også undervisning i komposisjon. Han hadde som ung kontakt med kirke- og gospelmusikk og skrev allerede si 17- og 18-årsalderen flere større verker som, ofte ganske kaotisk, blander inspirasjon fra jazz og europeisk musikk.