Yousuf nebo Josuf (jeho křestní jméno bylo arménské Hovsep) Karsh se narodil v Mardinu, městě ve východní Osmanské říši (dnes Turecko). Vyrůstal v průběhu Arménské genocidy, o které napsal, "viděl jsem umírat své příbuzné, moje sestra zemřela hladem, když jsme byli hnáni od vesnice k vesnici." Ve čtrnácti letech uprchl se svou rodinou do Sýrie, aby unikli pronásledování. O dva roky později jej rodiče poslali k jeho strýci Georgi Nakashovi, fotografovi v Sherbrooke, Québec, Kanada. Karsh tam krátce chodil do školy a pomáhal svému strýci ve fotografickém studiu. Nakash ve svém synovci rozpoznal velký potenciál a v roce 1928 zařídil Karshovi studium u portrétního fotografa Johna Gara v Bostonu, Massachusetts, Spojené státy. Jeho bratr, Malak Karsh, také fotograf, autor proslaveného obrazu dřevěných klád plovoucích po řecem, která se objevila na kanadské jednodolarové bankovce.