Nacido en Cleveland Heights, Ohio, Ayler recibió sus primeras lecciones de saxo alto de su padre Edward, con quien tocó duetos en la iglesia de su ciudad.