Pierwszy sukces w karierze Anatolij Jarkin osiągnął w 1980 roku, kiedy wspólnie z Jurijem Kaszyrinem, Siergiejem Szełpakowem i Olegiem Łogwinem zdobył złoty medal w drużynowej jeździe na czas podczas igrzysk olimpijskich w Moskwie. Na tych samych igrzyskach wziął także udział w indywidualnym wyścigu ze startu wspólnego, który ukończył na szóstej pozycji. W tej samej konkurencji zdobył także srebrny medal na mistrzostwach świata w Pradze w 1981 roku, gdzie partnerowali mu Siergiej Kadacki, Jurij Kaszyrin i Oleg Łogwin. Ponadto w 1982 roku był trzeci w klasyfikacji generalnej francuskiego Circuit Cycliste Sarthe.