У 1987 році Арвідас Яноніс разом із іншими футболістами «Жальгіріса» грав у складі студентської збірної СРСР на Літній Універсіаді 1987 року в Загребі, де став переможцем турніру. З 1986 року Яноніс почав залучатися до олімпійської збірної СРСР, у відбірковому турнірі зіграв один матч. У 1988 році його включили до складу збірної на Олімпійських ігор 1988 року у Сеулі. На олімпійському турнірі Яноніс зіграв лише один матч групового турніру проти збірної США, проте незважаючи на це він разом зі всією радянською командою отримав золоті олімпійські нагороди, а наступного року отримав звання заслуженого майстра спорту.