På slutten av 1950- og begynnelsen av 60-tallet ble Haden kjent som bassist hos Ornette Coleman. Han var senere medlem av Keith Jarretts trio og Jarretts såkalte «American Quartet». Etter hvert dannet han også egne grupper, noen av disse eksisterte over lang tid.