Ettersom at Ozoliņš ble født i det daværende Latviske SSR representerte han Sovjetunionen internasjonalt frem til 1991. Hans første internasjonale turnering var Junior-VM i ishockey 1991, hvor han vant en sølvmedalje etter å ha tapt den siste kampen mot gullvinner Canada. Året etter deltok han i Junior-VM i ishockey 1992, hvor han vant en gullmedalje som Samveldet av uavhengige stater (SUS), ettersom at Sovjetunionen ble formelt oppløst i løpet av turneringen (som ble avholdt fra den 26. desember 1991 til 4. januar 1992). Dette resulterte i noen protester fordi at Ozoliņš og Sergei Zholtok, som begge var fra Latvia, et land som ikke var medlem av SUS. Protesten ble senere henlagt.