Rylskij vant en olympisk bronsemedalje i fekting under Sommer-OL 1956 i Melbourne. Han var med på det sovjetiske laget som kom på tredjeplass i lagkonkurransen i sabel bak Ungarn og Polen. De andre på laget Jevgenij Tjerepovskij, Lev Kuznetsov, David Tysjler og Leonid Bogdanov.