I 1955 dannet han Barsjaj Moskva kammerorkester, som han ledet frem til han emigrerte til Vesten i 1977. Han var kunstnerisk leder for Israel Chamber Orchestra fra 1976 til 1981. Fra 1981 til 1982 Barsjaj var sjefsdirigent for Vancouver Symphony Orchestra. Han var gjestedirigent for Orchestre National de France (Det franske nasjonalorkesteret) mellom 1985 og 1986. Han var sjefsdirigent for Bournemouth Symphony Orchestra i perioden 1982-1986.