W reprezentacji Jugosławii Elsner zadebiutował 31 marca 1984 roku w wygranym 2:1 towarzyskim meczu z Węgrami. W tym samym roku został powołany do kadry narodowej na Mistrzostwa Europy. Nie zagrał na nich jednak w żadnym pojedynku. Z tamtego turnieju Jugosławia odpadła po fazie grupowej. W 1984 roku Elsner zajął również z drużyną narodową 3. miejsce na Letnich Igrzyskach Olimpijskich. W latach 1984–1988 w reprezentacji Jugosławii Elsner rozegrał w sumie 14 spotkań. W latach 1992–1993 zagrał także 2 razy w reprezentacji Słowenii.