Mitchell var skolert på piano, saksofon og klarinett, men var i sin første jazztrio utøver på kontrabass (1947), etter å ha studert ved Cornell University og på en tid da han var i US Army.