Am 3. Mai 1956 wurden in Tokio die ersten Judo-Weltmeisterschaften ausgetragen. Yoshimatsu bezwang in seinem ersten Kampf den philippinischen Judoka Nicolas Arcales, im Achtelfinale den Österreicher Walter Gauhs und im Viertelfinale den Belgier Daniel Outelet. Im Halbfinale traf er auf den Niederländer Anton Geesink und besiegte ihn mit einem Hüftwurf. Im Finale trafen die beiden Japaner Natsui und Yoshimatsu aufeinander und Natsui gewann den Titel.