I 1954 giftet Barsjaj seg med Anna Martinson, en russisk maler og kostymedesigner, som var datter av den sovjetiske tegneserie-skaperen Sergey Martinson. De fikk en sønn, Walter Barsjaj, født 6. juni 1955. Etter deres skilsmisse i 1963, og hans neste ekteskap var med en japansk oversetter, ved navn Teruko Soda. Han giftet seg for tredje gang med en konsert-organist Elena. Barsjaj bodde i Sveits frem til sin død i 2010, i en alder av 86 år.