Zona de Asentamiento
Cohn nació en una familia judía de clase trabajadora en la ciudad de Nueva York. Su padre, Joseph Cohen, era un sastre procedente de Alemania, y su madre, Bella Joseph, era de la Zona de Asentamiento del Imperio Ruso. Después de trabajar durante un tiempo como conductor de tranvía, y luego como "demostrador de canciones" (término con el que se conocía a los pianistas y vocalistas que a principios del siglo XX trabajaban en grandes almacenes y editoriales musicales mostrando las nuevas partituras) para una imprenta de partituras, consiguió un trabajo con Universal Pictures, donde su hermano, Jack Cohn, ya estaba empleado. En 1919, Cohn se unió a su hermano y Joe Brandt para fundar la CBC Film Sales Corporation. Las iniciales oficialmente representaban a "Cohn, Brandt y Cohn", pero Hollywood se dio cuenta de los esfuerzos de bajo presupuesto y clase baja de la compañía y la apodó jocosamente CBC "Corned Beef and Cabbage" (col y carne enlatada). Harry Cohn manejó la producción cinematográfica de la compañía en Hollywood, mientras su hermano manejaba sus finanzas desde Nueva York. La relación entre los dos hermanos no siempre fue buena, y Brandt, al encontrar la sociedad estresante, finalmente vendió su tercera parte de la compañía a Harry Cohn, quien asumió el cargo de presidente, momento en el cual la firma pasó a llamarse Columbia Pictures Corporation.