Родился 24 ноября 1914 года в черте оседлости — местечке Шумячи, Смоленской губернии. Его мать умерла в 1919 году, и в 1929 году он переехал к родственникам в Москву. В 1931 году З. М. Черниловский окончил ФЗУ и пошёл работать наборщиком в 1-ю Образцовую типографию. В 1932 году пошёл служить в армию, а спустя год, в 1933 году поступил в Московский юридический институт. На третьем курсе, переведясь на заочное отделение, был направлен в Омск (1935—1937) для работы следователем областной прокуратуры по уголовным делам.