Avory ble utdannet ved en skole for trommeslagere i London, . Han var hovedsakelig inspirert av jazztrommeslagere som Art Blakey og Max Roach, og mindre høylytt enn en del av sine samtidige pop- og rock-trommeslagere som Keith Moon og John Bonham.