Największy sukces w karierze Anatolij Olizarienko osiągnął w 1963 roku, kiedy wspólnie z Wiktorem Kapitonowem, Gajnanem Sajdchużynem i Jurijem Mielichowem zdobył brązowy medal w drużynowej jeździe na czas na mistrzostwach świata w Ronse. Był to jednak jedyny medal wywalczony przez niego na międzynarodowej imprezie tej rangi. Na tych samych mistrzostwach zajął także 41. miejsce w wyścigu ze startu wspólnego amatorów. W 1964 roku wystąpił na igrzyskach olimpijskich w Tokio, gdzie był piąty w drużynie, a indywidualnie zajął 56. pozycję. Ponadto w 1958 roku wygrał wyścig Dookoła Egiptu, w 1960 roku był trzeci w Tour de Pologne, a trzy lata później był dziewiąty w Wyścigu Pokoju. Został także mistrzem Związku Radzieckiego w drużynowej jeździe na czas w 1963 roku.