Barsjaj ble født i Lobinskaja i Krasnodar kraj, og han studerte ved Moskva-konservatoriet under Lev Tseitlin og Vadim Borisovskij. Han opptrådt som solist og flere ganger sammen med kjente sovjetiske musikere Svjatoslav Richter, David Oistrakh, og som medlem av en trio der også Mstislav Rostropovitsj og Leonid Kogan var med. Han vant flere sovjetiske og internasjonale konkurranser. Han var grunnleggeren av Borodinkvartetten i 1945 og han var medlem av den kvartetten frem til 1953.