Pantović debütierte am 17. November 2015 in der serbischen U21-Nationalmannschaft, die das Qualifikationsspiel für die U21-Europameisterschaft 2017 in Koper mit 0:2 gegen Slowenien verlor, wobei er in der 62. Minute für Srđan Plavšić eingewechselt wurde. Insgesamt absolvierte Pantović neun Spiele für serbische Jugendauswahlmannschaften.