Bei den Europameisterschaften 1973 gewann Remfry die Silbermedaille im Schwergewicht, nachdem er das Finale gegen den Spanier Santiago Ojeda verloren hatte. Bei den Weltmeisterschaften unterlag er im Halbfinale dem für die Sowjetunion kämpfenden Jibilo Nizharadze, im Kampf um die Bronzemedaille besiegte Remfry den Niederländer Peter Adelaar. 1974 gewann Remfry mit dem britischen Team hinter der sowjetischen Mannschaft Silber bei den Mannschaftseuropameisterschaften.