Coleman flyttet til Los Angeles i begynnelsen av 1950-årene, og hadde forskjellige jobber, som f.eks heisoperatør, mens han samtidig satset på sin musikalske utvikling. Alt fra starten var musikken han spilte relativt uortodoks. Han var for eksempel mer opptatt av relativt enn absolutt gehør. Hans sans for harmonier og akkordprogresjoner er heller ikke så rigid som hos de fleste swing- og bebop- musikere. Mange jazzmusikere i Los Angeles mente at Colemans spilte falskt og han hadde derfor til tider problemer med å finne likesinnede å spille med. Pianisten Paul Bley var en tidlig tilhenger.