Bei den Mittelmeerspielen 1979 in Split gewann er die Bronzemedaille im Halbweltergewicht (63,5 kg) und bei den Europameisterschaften im selben Jahr die Silbermedaille. Im Finale unterlag er Serik Konakbajew, Sowjetunion (4:1). Auf eben jenen traf Olivia auch im Finale der Olympischen Spiele 1980. Nach den vorhergehenden Siegen über Aurelien Agnan, Benin (RSC 1.), Farez Halabi, Syrien (RSC 3.), Ace Rusevski, Jugoslawien (3:2), und Anthony Willis, Vereinigtes Königreich (5:0), konnte er sich auch bei Konakbajew revanchieren (4:1) und gewann damit die Goldmedaille. Außerdem wurde ihm auch der Val-Barker-Pokal für den besten Boxer des Turniers verliehen. Oliva gewann als Amateur 93 von 96 Kämpfen.