Cahn ble født i New York City som eneste sønn av Abraham og Elka Reiss. Cohen var jødiske innvandrere fra Galicia, som den gang var under keiserriket Østerrike-Ungarn. Hans fire søstre Sadye, Pearl, Florence og Evelyn tok alle pianotimer. Hans mor likte ikke at Sammy spilte piano, fordi hun følte at piano var en kvinnes instrument. På grunn av dette begynte han derfor med opplæring i fiolin. Etter bare tre timer og etter hans bar mitzvah, sluttet han seg til et mindre dixieland-band kalt som turnerte Catskill-fjellene om sommeren. I tillegg spilte han også i private selskaper. Cahns nye drøm knuste foreldrenes håp at han skulle bli en profesjonell musiker.