Ancelotti oli pelipaikaltaan keskikenttäpelaaja. Hän aloitti ammattilaisuransa Parman riveissä vuonna 1976. Vuosina 1979–1987 Ancelotti edusti Romaa. Hän saavutti seuran riveissä yhden Italian-mestaruuden ja neljä Italian cupin voittoa. Vuosina 1987–1992 Ancelotti edusti Milania. Hän saavutti seurassa muun muassa kaksi Italian-mestaruutta, kaksi Euroopan cupin voittoa ja kaksi Intercontinental Cupin voittoa. Italian maajoukkueessa Ancelotti pelasi vuosina 1981–1991 26 ottelua ja teki niissä yhden maalin. Hän edusti Italiaa vuoden 1986 MM-kisoissa, vuoden 1988 EM-kisoissa ja vuoden 1990 MM-kotikisoissa.