Ozoliņš aloitti pikajuoksun Viktor Atamanovin johdolla vuonna 1955 asuinseudullaan Leningradissa. Seurana oli Leningradin Burevestnik. Hän nousi nopeasti Neuvostoliiton pikajuoksun kärkimenijöihin. Hän oli mukana jo vuonna 1958 Tukholman EM-kisoissa Neuvostoliiton pikaviestijoukkueessa, joka sijoittui kolmanneksi. Ensimmäisen Neuvostoliiton mestaruutensa hän otti vuonna 1959 100 metrillä. Seuraavan vuonna hän uusi maansa 100 metrin mestrauuden voittaen myös 200 metriä. Hän oli näin mukana Neuvostoliiton joukkueessa Rooman olympialaisissa. Siellä hän etenei 100 metrillä puolivälieriin. Pikaviestissä Ozoliņš yhdessä Guzman Kosanovin, Leonid Bartenevin ja Juri Konovalovin kanssa saavutti olympiahopeaa Saksan voittaessa.