1983 gewann Willy Wilhelm den niederländischen Meistertitel im Schwergewicht, nachdem er zuvor in der offenen Klasse nur Dritter geworden war. Bei den Europameisterschaften 1983 belegte er den fünften Platz im Schwergewicht, nachdem er im Kampf um Bronze dem Franzosen Angelo Parisi unterlegen war. Fünf Monate später bei den Weltmeisterschaften in Moskau bezwang er im Achtelfinale des Schwergewichts den Ägypter Mohamed Ali Rashwan, im Viertelfinale den Kanadier Mark Berger und im Halbfinale dem Rumänen Mihai Cioc. Im Finale unterlag er dem Japaner Yasuhiro Yamashita. Zum Auftakt des Olympiajahres 1984 gewann Willy Wilhelm den niederländischen Meistertitel im Schwergewicht. Bei den Europameisterschaften in Lüttich unterlag er im Viertelfinale des Schwergewichts Vladimír Kocman aus der Tschechoslowakei, mit Siegen in der Hoffnungsrunde über Marino Beccacece, Mihai Cioc und den Bulgaren Dimitar Saprjanow kämpfte sich Willy Wilhelm zur Bronzemedaille durch. Bei den Olympischen Spielen in Los Angeles trat Wilhelm ebenfalls nur im Schwergewicht an. Er verlor seinen Auftaktkampf gegen den Jugoslawen Radomir Kovačević durch Schiedsrichterentscheid (Yusei-gachi). Ende 1984 gewann Wilhelm in Seoul die Militärweltmeisterschaften im Schwergewicht, in der offenen Klasse belegte er den zweiten Platz hinter Peter Seisenbacher aus Österreich.