Na zijn spelerscarrière werd hij trainer. In 1994 werd hij assistent trainer van Oleg Romantsev bij Spartak. Romantsev was ook bondscoach en in 1996 focuste hij zich meer daarop waardoor Jartsev hoofdtrainer werd en dat jaar ook landskampioen werd. Na de terugkeer van Romantsev werd Jartsev terug hulptrainer. In 1998 trok hij naar aartsrivaal Dinamo Moskou, waarmee hij wel de finale van de beker bereikte, maar in 1999 toch ontslagen werd wegens gebrek aan succes. In januari 2000 ging hij naar Rotor Volgograd, maar behaalde ook daar geen succes en stopte in juni 2000. De volgende drie jaar trainde hij de veteranen van Spartak. In 2003 werd hij onverwachts verkozen tot bondscoach en leidde de Russen naar het EK 2004. Op het EK verloren ze meteen van Spanje en Portugal en was zo het eerste team dat de koffers mocht pakken. Na de eerste wedstrijd had hij al de ervaren middenvelder Aleksandr Mostovoj naar huis gestuurd omdat die in de media geklaagd had over de zware trainingen van Jartsev waardoor er weinig energie overbleef voor de wedstrijd. In de laatste wedstrijd wonnen de Russen wel met 2-1 van Griekenland, uitgerekend de latere Europese kampioen. Ondanks de vroege uitschakeling werd Jartsev niet ontslagen. Zelfs na een 1-7 pak rammel van Portugal in de kwalificatie voor het WK 2006 bleef hij aan, maar nam dan zelf ontslag na een gelijkspel tegen Estland.