Stepulov osallistui keväällä 1934 käytyihin EM-kisoihin Budapestissä, mutta hävisi heti ensimmäisen ottelunsa. Vuonna 1936 Stepulov edusti Viroa menestyksekkäästi Berliinin vuoden 1936 olympialaisissa. Ensimmäisillä kierroksilla tappion kokivat Luxemburgin, Japanin ja Chilen nyrkkeilijät. Välierässä vastaan tuli Ruotsin Erik Åberg, jonka Stepulov voitti ja pääsi loppuotteluun. Loppuottelussa vastaan tuli Unkarin Imre Harangi, jolle Stepulov koki kuitenkin tappion. Saavutuksena siis olympiahopeaa. Nuorelle Viron tasavallalle Berliinin kisat olivat menestyksekkäät suurimpana tähtenään tietysti painin kaksinkertainen olympiakultamitalisti Kristjan Palusalu. Stepulovia ja muita mitalisteja juhlittiin myös suuresti - riemukas vastaanotto Tallinnassa. Olympiamitalistit, Stepulov yhtenä heistä, olivat kansallissankareita. Viron valtio palkitsi Stepulovin armeijan kersantin vakanssilla.