Riuscito a superare un normale primo attimo di sbandamento, "Carletto" ci mette poco a farsi voler bene dai tifosi e introdursi nei meccanismi della squadra, la quale sfiora il titolo di campione d'italia 1980-1981 e vince ancora la Coppa Italia, nella cui finale Ancelotti va a segno. Durante la stagione 1981-1982 inizia però ad essere afflitto da problemi alle ginocchia: dapprima nell'ottobre 1981 (durante una partita contro la Fiorentina), e poi in un allenamento del gennaio 1982 (alla vigilia dell'incontro con l') si infortuna infatti al ginocchio destro, collezionando così appena 5 presenze in campionato, chiuso al terzo posto dalla Roma, e costringendosi a saltare il vittorioso mondiale di Spagna del 1982 in maglia azzurra.