Cohn ble født 23. juli 1891 i New York. Hans far, Joseph Cohn, var tysk-jødisk og drev en skredderforretning på Upper East Side, mens hans mor, Bella Cohn, var russisk-jødisk. Cohn hadde to eldre brødre, Max og Jack, og en yngre bror, Nathan. I likhet med broren Jack, sluttet Cohn på skolen da han var rundt 13 år gammel. Mens broren fikk seg arbeid hos Independent Moving Pictures, som senere ble Universal Pictures, da han var 19 år gammel, startet ikke Cohn sin karriere innen film før han var i slutten av 20-årene. Han arbeidet først som sporvognfører og som promoterer for en partiturtrykker.