Deitch werd geboren in Chicago, in de staat Illinois, op 8 augustus 1924, hij was de zoon van verkoper Joseph Deitch en Ruth Shirley Delson. In 1929 verhuisde het gezin naar Los Angeles, Californië na de beurskrach datzelfde jaar. Reeds als kind was hij gefascineerd door de filmindustrie, maar het waren vooral de korte tekenfilms die zijn aandacht grepen. Deitch studeerde af aan de Venice High School te Los Angeles in 1942. Direct ging hij aan de slag bij North American Aviation om aldaar blauwdrukken voor vliegtuigen te tekenen. Hier ontmoette hij Marie, zijn eerste echtgenote, met wie hij in het huwelijk trad in 1943 en met wie hij drie zonen kreeg. Datzelfde jaar werd hij opgeroepen voor militaire dienst en trainde om piloot te worden, maar werd al in mei 1944 eervol ontslagen van zijn plicht vanwege een longontsteking.