Kaganòvitx va sobreviure fins als 97 anys, morint el 25 de juliol de 1991, just abans dels fets que resultarien en el final de la Unió Soviètica. Està enterrat al cementiri de Novodévitxi de Moscou.