Baloyi connaît sa première cape face à la Hollande (0-2) le au cours d'un match amical. Il fait ses débuts dans une compétition internationale contre l'Uruguay le lors de la Coupe des Confédérations 1997 en Arabie saoudite où il ne peut empêcher l'élimination (défaite 4-3) en phase de poule.