I januar 1964 ble han ansatt i The Kinks som like før hadde skiftet navn fra . Bandet reagerte på en annonse han hadde satt inn i bladet . Det første året leide bandets produsent inn trommeslagere som Clem Cattini og Bobby Graham til plateinnspillinger siden han mente de var mer erfarne i slike situasjoner. Avory deltok med tamburin på enkelte numre. Blant innspillingene som han ikke deltok på som trommeslager var «You Really got Me».