Zjmudskij ble olympisk mester i vannpolo under Sommer-OL 1972 i München. Han var med på det sovjetiske laget som vant vannpoloturneringen foran Ungarn og USA. Sjmudski spilte åtte kamper og scoret to mål i OL-turneringen.