Nach Neuordnung der Gewichtsklassen trat Fujii ab 1978 im Halbmittelgewicht an. 1979 siegte er beim vorolympischen Turnier in Moskau. Bei den Weltmeisterschaften 1979 in Paris besiegte er im Finale den Franzosen Bernard Tchoullouyan. 1980, im Jahr des japanischen Olympiaboykotts, endete die Karriere des vierfachen Weltmeisters, der nie bei Olympischen Spielen startete.