Ayler fikk sin første innføring i altsaksofon fra sin far Edward, som var halvprofesjonell saksofonist og fiolinist. De spilte også duetter sammen i kirken, hvor han hentet mye inspirasjon fra. Ayler spilte således tidlig altsaksofon og turnerte i slutten av tenårene med blues-munnharpespilleren Little Walter. Deretter hadde han eget rhythm & blues-band, inntil han ble innkalt til militærtjeneste med i Vest-Tyskland. Der gikk han over til tenorsaksofon.