Su madre falleció apenas seis meses después del parto a causa de una miocarditis crónica, quedando Mingus a cargo de una madrastra mitad amerindia y que en el hogar permitía únicamente música relacionada con la iglesia, por lo que Charles tuvo sus primeros contactos con la música en la Iglesia Holiness Church de Watts.