Deux fois champion de Slovaquie amateur en 1996 et 1997 dans la catégorie poids mouches, Peter Baláž a concouru pour son pays aux Jeux olympiques d'été de 1996 à Atlanta et y a été battu par l'indonésien au premier tour de la compétition des poids mi-mouches (moins de ). Quelques mois auparavant, il avait atteint les quarts de finale des championnats d'Europe de boxe amateur à Vejle.