Hruštšovin mukaan Kaganovitšia pidettiin Neuvostoliiton parhaana hallintomiehenä. Hänen toimintansa kukoistavinta aikaa oli Moskovan rakennustyön vuosikymmen eli 1930-luku. Moskovan metron valmistuminen kruunasi hänen työnsä, ja hänen johdollaan rakennettu maanalainen kantoi monia vuosia hänen nimeään. Puoluevalvontatoimikunnan puheenjohtajana Kaganovitš välttyi joutumasta puhdistuksien uhriksi, maatalouden kollektivisoinnin aikaan hänet lähetettiin Ukrainaan ja Siperiaan kulakkien kimppuun. On arvioitu, että vuosina 1932–1933 ukrainalaisiin kohdistuneessa hyökkäyksessä kuoli noin 7–10 miljoonaa ihmistä. Suurin osa heistä kuoli nälkään, ja näitä tapahtumia kutsutaan ukrainalaisten holokaustiksi eli holodomoriksi. Häntä ja hänen puoluetoveriaan Vjatšeslav Molotovia pidetään Ukrainan nälänhädän pääarkkitehteina.