Seine erste internationale Medaille gewann Jakow Rylski bei den Fechtweltmeisterschaften 1955, als er mit der sowjetischen Säbel-Mannschaft die Bronzemedaille hinter den Ungarn und den Italienern erfocht. Bei den Olympischen Spielen 1956 in Melbourne schied er im Einzelwettbewerb in der zweiten Runde aus. Im Mannschaftswettbewerb erreichten Leonid Bogdanow, Lew Kusnezow, Jakow Rylski, Jewgeni Tscherepowski und Dawid Tyschler die Finalrunde und gewannen durch einen Sieg über die französische Equipe die Bronzemedaille hinter Ungarn und Polen.