Због лошег вођења колективизације у Украјини, сматра се једним од одговорних за избијање велике украјинске епидемије глади 1932—1933. године. Током трајања великих чистки унутар СКП(б), Каганович је организовао хапшења хиљада железничких радника и службеника.