Coltrane dannet en kvartett i 1960 med pianist McCoy Tyner, bassist Jimmy Garrison og trommeslager Elvin Jones, en gruppe som produserte søkende og spirituelt drevet musikk. Så fikk de da også spille i Njårdhallen i 1963. Han utviklet raskt en røff, noen ganger aggressiv og fri tenorstil. Samspillet med trommeslager Elvin Jones kan ikke sjelden oppfattes som telepatisk. Særlig i konsertsammenheng hadde de to lange perioder i enkelte numre hvor pianist McCoy Tyner og bassist Jimmy Garrisson ikke spilte. Elvin Jones med sin polyrytmiske spillestil passet perfekt til Coltranes tenkning på denne tiden. Dette bandet produserte blant annet i 1964. For en kortere perioden var også Eric Dolphy med på bassklarinett, fløyte og altsaksofon. Det er blitt hevdet at suksessen til platemerket Impulse! for en stor del skyldtes Coltrane. Han gjorde flere betydelige innspillinger på dette platemerket og hadde stor frihet til å utvikle sine egne ideer.