Era conhecido pela alcunha de o "lobo do Kremlin". O principal responsável pela política de fome do Holodomor na Ucrânia e um dos principais arquitetos por trás do Grande Expurgo de 1934-1939 foi também junto com Lavrentiy Beria e Josef Stalin um dos mandantes do Massacre de Katyn. Foi ainda responsável por todos os transportes de guerra e deslocalizações ou assentamentos de complexos industriais para áreas a leste durante a invasão alemã. Foi responsável por fazer subir na hierarquia soviética Nikita Khrushchov, que mais tarde em 1953 se tornaria Secretário-Geral do Partido Comunista da União Soviética em uma disputa acirrada com o próprio Kaganovitch.