Ancelotti se inició profesionalmente en el Parma, en las categorías juveniles antes de que en 1976 debutara en el primer equipo de los parmesanos.