Von 1994 bis 1997 trat Yoshida im Mittelgewicht an, der Gewichtsklasse bis 86 Kilogramm. 1995 siegte er erneut beim Weltcup-Turnier in Paris. Bei den Judo-Weltmeisterschaften 1995 in Chiba unterlag er im Finale gegen Jeon Ki-young, der ebenfalls die Gewichtsklasse gewechselt hatte. Bei den Olympischen Spielen 1996 in Atlanta verlor Yoshida bereits seinen ersten Kampf gegen den Rumänen Adrian Croitoru. In der Hoffnungsrunde siegte Yoshida dreimal, im Kampf um die Bronzemedaille verlor er gegen den Deutschen Marko Spittka. Olympiasieger wurde der Koreaner Jeon Ki-young.