Родился в еврейской семье крестьянина Моисея Гершковича в деревне Кабаны Радомысльского уезда Киевской губернии Российской империи (впоследствии — село Диброва Полесского района Киевской области Украины, упразднено в 1999 году как вошедшее в зону обязательного отселения Чернобыльской АЭС). В семье было 13 детей, шестеро умерли. По свидетельству самого́ Кагановича, его отец работал на смоляном заводе неподалёку от деревни: «Жили очень бедно — в хибаре, где раньше был сарай. Все семь человек спали в одной комнате на лавках». Однако Рой Медведев, ссылаясь на воспоминания очевидцев, утверждает, что отец Кагановича был торговцем скотом. Дочь таганрогского коммерсанта Гирша Фельдмана Изабелла Аллен-Фельдман утверждала, что её отец в конце XIX века вёл дела с Кагановичем-старшим, который в то время являлся купцом первой гильдии и пользовался правом проживания в столицах, например, в Киеве. В начале Первой мировой войны Каганович-старший разорился после ряда неудачных операций с военными поставками.