In den folgenden Jahren wurde der Weltrekord häufig verbessert. 1956 lief Rozsnyói am 16. September beim Länderkampf der Tschechoslowakei gegen Ungarn in Budapest 8:35,6 min. Kurz vor den Olympischen Spielen in Melbourne wurde der Ungarische Volksaufstand niedergeschlagen. Während der ungarische Weltklasseläufer Sándor Iharos bei den Spielen nicht antrat und István Rózsavölgyi in Melbourne völlig außer Form war, trat Rozsnyói als amtierender Weltrekordler überzeugend auf. Trotzdem wurde er im Finale vom wettkampfharten Engländer Chris Brasher um zwei Sekunden geschlagen und lag nur knapp vor Ernst Larsen und dem Deutschen Heinz Laufer. Zuerst wurde Rozsnyói als Olympiasieger bekannt gegeben, weil Brasher Larsen und Laufer behindert haben sollte. Nach der Anhörung der beiden betroffenen Athleten wurde die Disqualifikation Brashers aufgehoben und Rozsnyói erhielt Silber.