Перед Олимпиадой-1980 Рыбаков просил тренеров о возможности перейти в более тяжёлую весовую категорию, однако те настояли на том, чтобы Виктор выступал в категории до 57 кг. Рыбаков был вынужден «сгонять вес» перед соревнованиями, и в итоге проиграл в полуфинале немцу из ГДР Руди Финку, у которого выиграл за год до этого на чемпионате Европы в Кёльне. Через год Виктор всё же перешёл в категорию до 60 кг и выиграл золото чемпионата Европы.