Zavarov startte zijn carrière bij het plaatselijke Zarja Vorosjilovgrad (het huidige Zorja Loehansk). Nadien speelde de middenvelder bij SKA Rostov, totdat hij in 1982 een contract tekende bij Dynamo Kiev, dat onder leiding stond van de legendarische Valeri Lobanovsky. Met Dynamo Kiev won Zavarov de Europacup II (1986), waarbij hij zelf in de finale scoorde, twee landskampioenschappen (1985 en 1986) en drie nationale bekers (1981, 1985 en 1987).