Han etablerte seg raskt som bassist i New York. Grimes var en av 1950-årenes og begynnelsen av 1960-årenes store bassister i frijazzen. Han spilte og innspilte med blant andre Sonny Rollins, Gerry Mulligan, Benny Goodman, Thelonious Monk, Cecil Taylor, Don Cherry, Archie Shepp, Steve Lacy, Albert Ayler og hos Charles Mingus, da denne stod i spissen for sit eget ensemble som dirigent.