Als Sekretär des ZK war er Organisator des XVII. Parteitages der WKP (B) („Parteitag der Sieger“) vom Januar 1934. Danach leitete er von 1930 bis 1935 auch die Parteikontrollkommission und die Moskauer Parteiorganisation. Als Erster Sekretär der Moskauer Parteiorganisation war Kaganowitsch für die Umgestaltung des Erscheinungsbildes der Stadt verantwortlich. Seine Tätigkeit begann mit der „Aufdeckung“ von angeblichen „konterrevolutionären Verschwörungen“ innerhalb der Verwaltungs- und Wirtschaftsabteilungen der Hauptstadt. Kaganowitsch wollte eine „Idealstadt der Zukunft“ durchsetzen, und er war deshalb einer der Hauptverantwortlichen für die Zerstörung vieler alter Stadtbereiche, Kirchen und Gebäude von Moskau und so u. a. auch für die Sprengung der Christ-Erlöser-Kathedrale von 1931 verantwortlich (Wiederaufbau ab 1992).