Hovsep Karsh (senere Yousuf eller Josuf) blev født i byen Mardin i det østlige Osmaniske Rige (det nuværende Tyrkiet). Han voksede op i en periode med omfattende hungersnød, der bl.a. kostede søsteren livet, og Det Osmaniske Riges brutale fremfærd mod den armenske befolkningsgruppe og epidemien Den Spanske Syge. Det prægede familien og Karshs opvækst. Karsh beskrev det senere: "Jeg så familiemedlemmer blive massakreret; min søster døde af sult, og vi blev drevet fra landsby til landsby" Da han var 14, flygtede familien til Syrien. To år senere sendte familein Yousuf til Quebec i Canada for at bo hos onklen George Nakash, der var fotograf. Yousuf arbejdede i onklens atelier, og onklen så et stort potentiale i Yousuf, og fik sendt ham til at arbejde med portrætfotografen John Garo i Boston i USA. Efter fire år i Boston vendte Karsh tilbage til Quebec, hvor han arbejdede sammen med fotografen John Powls, hvis atelier han overtog, da Powls trak sig tilbage i 1933.