В молодости Анчелотти выступал за молодёжную и олимпийскую сборные Италии, а в 1981 году дебютировал в составе основной команды. В её составе он принимал участие в чемпионатах мира 1986 и 1990 годов, а также на Евро-1988, однако ни на одном из турниров не был основным игроком сборной. Всего в её составе он провёл 26 матчей и отметился одним голом.