Будучи студентом, в 2003 году Идзуми выступил на Универсиаде в Тэгу, где занял в среднем весе первое место. Благодаря череде удачных выступлений удостоился права защищать честь страны на летних Олимпийских играх 2004 года в Афинах — на пути к финалу победил всех соперников, в том числе сильного белоруса Сергея Кухаренко, однако в решающем поединке потерпел поражение от грузина Зураба Звиадаури и вынужден был довольствоваться серебряной олимпийской медалью. Кроме того, в этом сезоне побывал на чемпионате Азии в Алма-Ате, откуда привёз награду бронзового достоинства, выигранную в средней весовой категории — в полуфинале проиграл представителю Узбекистана Вячеславу Перетейко.