В 1924 году родители разошлись, и Григорий остался с матерью. Mать участвовала в коллективизации и раскулачивании на Украине, была народным судьёй, училась на высших юридических курсах в Одессе. В конце 1920-х годов Григорий переехал с матерью в Днепропетровск, откуда во время голода на Украине в 1932 году они бежали в Кисловодск, затем в Пятигорск, где мать устроилась работать библиотекарем в располагавшемся в национализированной даче Эльзы санатории «Красная звезда» и получила комнатку там же. Позже они переехали в Баку, где мать работала старшим следователем милиции. По возвращении в Днепропетровск она устроилась на работу в машинно-тракторную станцию и вторично вышла замуж за председателя колхоза Павла Антоновича Литвиненко. В 1935 году отчима направили в Москву для учёбы в двухгодичной Всесоюзной академии соцземледелия, по окончании которой родители вернулись на Украину, а Григорий остался в столице, чтобы окончить школу. Учился в одном классе с Карлом Кантором, который оставался его близким другом до конца жизни.