Diamond ble født Itek Dommnici i Ungheni i Iași i regionen Bessarabia i daværende Romania. I dag tilhører denne regionen Moldova. Da han var ni år gammel emigrerte familien hans til USA og byttet etternavn til Diamond. De slo seg ned i Crown Heights i Brooklyn. Diamond studerte ved Boys High School, der han brukte fornavnet Isadore. Han fikk også kallenavnet «Iz». Diamond var spesielt dyktig i matematikk, og deltok i delstatsmesterskapet i Mathematics Olympiads i 1936-37, der han vant flere priser. Diamond studerte ved Columbia University, og ble uteksamert i 1941. I denne perioden skrev han for , under pseudonymet I.A.L. Diamond, var redaktør for humormagasinet og var medlem i Philolexian Society. Initialene I.A.L. stod for «Interscholastic Algebra League». Diamond ble også den første studenten som egenhendig skrev fire påfølgende oppsetninger av den årlige revyen, Varsity Show. Som følge av dette endret han planen om å studere til en mastergrad ved Columbia, og aksepterte i stedet tilbudet om en korttidskontrakt i Hollywood.