En 1952, a la edad de 16, Ayler comenzó a tocar en bares con el músico de blues, cantante y especializado en harmónica, Little Walter, pasando dos vacaciones de verano con la banda de Walter.