Vicelich debutà amb la selecció neozelandesa com a substitut en un partit en què perderen 7 a 0 contra la selecció uruguaiana el 25 de juny de 1995 a Paysandú, Uruguai. Va ser inclòs en la selecció de Nova Zelanda en la Copa Confederacions 1999 a Mèxic on jugà tres partits. De nou va jugar en l'edició de 2003 a França, jugant en dos partits; participà en la Copa Confederacions 2009 a Sud-àfrica, esdevenint el primer i únic futbolista neozelandès en jugar en tres Copes Confederacions.