Jako junior reprezentoval Sovětský svaz, jehož bylo tehdy Lotyšsko součástí. S reprezentací do 18 let získal stříbro na mistrovství Evropy 1990, kde byl navíc zařazen do All star týmu. Stříbro získal i s reprezentací do 20 let na mistrovství světa 1991. Během mistrovství 1992 se Sovětský svaz rozpadl a mužstvo i se Žoltoksem v sestavě dohrálo turnaj pod hlavičkou Společenství nezávislých států a získalo zlato.