Bei den Olympischen Spielen 1960 in Rom gewann Lloyd die Bronzemedaille im Weltergewicht. Nach Siegen über Mohamed Faragalla, Sudan (KO 2.), Vasile Neagu, Rumänien (KO 2.), und Phil Baldwin, USA (3:2), unterlag er im Halbfinale dem Italiener Nino Benvenuti nach Punkten (3:2). Außerdem startete er 1961 bei den Europameisterschaften, schied hier jedoch bereits im Viertelfinale gegen den späteren Silbermedaillengewinner Hans-Dieter Neidel, DDR, aus. Nachdem Lloyd 1962 noch britischer Meister im Halbmittelgewicht (-71 kg) geworden war, entschied er sich Profi zu werden.