Barsoumians Eltern wurden im armenischen Viertel in Beirut im Libanon geboren und wuchsen dort auf. Auch Raffi Barsoumian wurde in Beirut geboren. Im Alter von nur einem Jahr siedelte die Familie aufgrund der anhaltenden Konflikte des Libanesischen Bürgerkriegs nach Los Angeles in Kalifornien über. Zuhause sprach die Familie überwiegend Armenisch und lebten die Kultur und die Bräuche des armenischen Volkes aus. Trotz dieser Nähe zu seiner Herkunft war er bislang nur einmal im Jahr 2005 in Armenien und besuchte mit Freunden die Hauptstadt Jerewan, während er an der Moscow Art Theater School in Moskau für ein Jahr studierte. Barsoumian begann sich in frühester Kindheit für das Schauspiel zu interessieren. An der High School nahm er erstmals Schauspielunterricht. Er besuchte 2006 die Carnegie Mellon University in Pittsburgh, Pennsylvania, wo er Mitglied der Theatergruppe war, ab 2009 die Globe Theatre International Fellowship in London. Danach studierte er an der Jacques Lecoq School in Paris. Bis heute spricht Barsoumian fließend Französisch.