Der 1,93 m große Remfry war ursprünglich Polizist in London und lernte den Judosport im Budokwai, dem von Gunji Koizumi gegründeten ältesten Judoverein Europas. 1968 erkämpfte der Schwergewichtler die Silbermedaille bei den Junioreneuropameisterschaften. 1971 gewann die britische Mannschaft mit Edward Cassidy, David Lawrence, Angelo Parisi, Keith Remfry und David Starbrook den Mannschaftseuropameistertitel. Bei den Judo-Weltmeisterschaften 1971 bezwang er im Schwergewicht unter anderem den Japaner Kaneo Iwatsuri und den US-Judoka Allen Coage und erhielt schließlich Bronze hinter dem Niederländer Wim Ruska und dem Deutschen Klaus Glahn. 1972 gewann das britische Team Bronze bei den Mannschaftseuropameisterschaften. Bei den Olympischen Spielen in München verlor Remfry seinen Auftaktkampf gegen den Kanadier Douglas Rogers durch Schiedsrichterentscheid.