Diamonds far Akeeba «Kieve» Diamond drev en kles- og kortevarebutikk som først var på Coney Island-området i Brooklyn, senere flyttet de til mer sentrale områder i bydelen. Både faren og moren Rose var jødiske immigranter fra Polen. Til en fødselsdag rett etter krigen fikk han en enkel gitar til 9 dollar, og dette ga han en oppmuntring til hans gryende musikkinteresse. Da han var 15 år skrev han sin første sang, kalt «Here Them Bells».