Mot slutten av 1957 jobbet Coltrane med Thelonious Monk på New Yorks Five Spot, et legendarisk spillested. Dette skulle få avgjørende innflytelse ikke minst på hans harmoniforståelse. Monk hadde en svært avansert og uvanlig måte å nærme seg harmonier på. Coltrane sluttet seg igjen til Miles i slutten av 1958 etter å ha sluttet med heroin og etter å ha opplevd en spirituell vekkelse som skulle føre til at han ofret seg fullt for intens øving og utvikling av musikken sin resten av livet. Han fortsatte med Davis til april 1960, vanligvis med altsaksofonist Cannonball Adderley og trommeslager Philly Joe Jones i en sekstett. I løpet av denne tiden var han med på Davis-innspillinger som og , og spilte inn sine egne, som og . I Giant Steps gikk han så langt det var mulig på den tiden å benytte harmonier som grunnlag for improvisasjon. I oktober 1958 oppfant jazzkritikeren Ira Gitler uttrykket for å beskrive Coltranes unike stil i løpet av denne perioden med Davis. Hans spill var komprimert, som om hele soloer passerte i løpet av få sekunder, med kaskader av triol- og kvadrol- bevegelser med hundrevis av noter i minuttet. I hans andre periode med Davis var han med i utviklingen av en spillestil basert på skalaer heller enn harmonier (modalitet). Albumet Kind of Blue er selve hovedverket innenfor denne stilen. Coltrane benyttet så å si hele resten av sin karriere en modal spillestil, som han i sin tur videreutviklet i samarbeid med, og delvis som frontfigur for «frijazzbevegelsen», selv om han aldri ble noen klar lederfigur innen frijazz. Mot slutten av samarbeidet med Davis begynte Coltrane å spille sopransaksofon, noe som var uvanlig på denne tiden. Dette sammen med den radikale endringen i spillestil på tenor etter at han sluttet hos Davis har av noen vært forklart med at han hadde problemer med tenormunnstykket, samt problemer med kronisk smerte i munnen.