Vicelich hizo su debut con la al ingresar desde el banquillo en un amistoso ante disputado en la ciudad uruguaya de Paysandú el 25 de junio de 1995. El partido terminó con derrota para los "All Whites" por 7-0 y fue el único encuentro internacional que el defensor disputó hasta 1997. Ese año permaneció en el once inicial en los seis partidos de clasificación para la Copa Mundial de 1998, donde Nueva Zelanda fue eliminada por . Un año más tarde, disputó dos encuentros en la campaña que llevó a la selección neozelandesa a ganar la Copa de las Naciones de la OFC, incluyendo la victoria por 1-0 en la final ante la selección australiana, y en 1999 sería titular en los tres partidos que Nueva Zelanda disputó en la Copa Confederaciones. Entre medio, anotó su primer gol con la selección en un encuentro ante que finalizó 2-2.