Hroar Elvenes begynte å konkurrere i gutteklassene og var blant landets beste juniorløpere. Under NM for junior på Hamar i 1951 kom han på andreplass, bak Knut Bjørnsen. I begynnelsen av skøytekarrieren hadde han ambisjoner om å hevde seg som sammenlagtløper, men det var sprinten han fikk best tak på. Etter at han hadde markert seg positivt på 500 meter under landskampen Norge mot resten av verden på Hamar i februar 1952, ble han tatt ut på 500 meter under OL i Oslo. I et seint par sprintet han fram til delt 6.-plass med Kiyotaka Takabayashi fra Japan med tiden 44,1.