Después de graduarse en el instituto, Ayler se unió al ejército de Estados Unidos, donde conoció y tocó junto a otros músicos alistados, incluyendo el saxofonista Stanley Turrentine.