Với biệt danh "Carletto", Ancelotti chơi ở vị trí tiền vệ và bắt đầu sự nghiệp của mình với câu lạc bộ Ý Parma, giúp câu lạc bộ thăng hạng Serie B vào năm 1979. Ông chuyển đến Roma vào mùa giải tiếp theo, tại đó ông đã giành được một chức vô địch Serie A và bốn chức vô địch Coppa Italia, đồng thời chơi cho đội Milan cuối những năm 1980, tại đó Ancelotti đã giành được hai chức vô địch quốc gia và hai cúp châu Âu, cùng các danh hiệu khác. Ở cấp độ quốc tế, Ancelotti đã chơi cho đội tuyển quốc gia Ý 26 lần, ghi bàn một lần và xuất hiện trong hai kỳ FIFA World Cup, kết thúc ở vị trí thứ ba trong giải đấu năm 1990, cũng như đã giúp quốc gia của mình lọt vào bán kết UEFA Euro 1988.