Израиль Гохберг родился в колонии Тарутино на юге Бессарабии в семье Цудика Ициковича Гохберга (1900—1942) и Хаи Исааковны Гохберг (1904—1984), — хозяина небольшой типографии (бухгалтера по профессии) и акушерки. Это поселение — теперь райцентр Тарутинского района Одесской области Украины — в те годы было населено преимущественно швабскими немцами; четверть населения составляли евреи. Гохберг учился в еврейской школе в Тарутино, затем в румынской гимназии в Оргееве. С приходом советской власти в 1940 году его отец был арестован и умер в Печлаге в 1942 году (реабилитирован посмертно в 1968 году). В начале Великой Отечественной войны тринадцатилетний Изя с матерью и семилетней сестрой эвакуировались в Ворошиловский район Фрунзенской области Киргизии, там он окончил среднюю школу при Васильевском совхозе. Важную роль в математическом образовании Гохберга сыграл его школьный учитель Модест Семёнович Шумбарский, окончивший перед войной Варшавский университет и защитивший дипломную работу под руководством известного польского тополога Кароля Борсука.