Vierchowod startet sin profesjonelle fotballkarriere i Calcio Como, før han flyttet til ACF Fiorentina. Han fikk imidlertid sitt gjennombrudd etter at han flyttet AS Roma, der han i 1983 var med på å vinne Serie A. Deretter gikk han til UC Sampdoria og med dette laget vant han fire italienske kuppmesterskap, cupvinnercupen én gang og igjen Serie A i 1991. I 1995 signerte han en kontrakt med Juventus, der han fungerte som en erfaren forsvarer. Med Juventus vant han i en alder av 37 år sin eneste UEFA Champions League i 1996. Kampen gikk mot Ajax Amsterdam og ble spilt i Roma. Juventus vant på straffer. Han gikk etter dette videre til klubbene AC Milan og Piacenza Calcio. Vierchowod ga seg i 2000 som profesjonell fotballspiller.