Fire år senere, under OL 1956 i Melbourne, vant han sin andre olympiske gullmedalje i vannpolo. Det ungarske laget vant alle fem kampene i finalerunden som besto av seks lag. Ungarn fikk ti poeng og sølvvinnerne Jugoslavia sju. Szivós spilte en kamp i OL-turneringen.