קגנוביץ' נולד ב-1893 להורים יהודים בכפר קאבאני, ליד רדומישל במחוז קייב, האימפריה הרוסית. רוב חייו הוא היה אתאיסט, מעולם לא השלים השכלה פורמלית ובתחילת דרכו עבד כסנדלר. היה לחבר המפלגה הבולשביקית ב-1911 בעקבות אחיו שהקדימו בכך. ב-1915 נעצר ונשלח חזרה לקאבאני, ובמאי 1917 הנהיג את המיליציה הבולשביקית בסראטוב. באוגוסט 1917 היה בראשות ועידת הפולסקי של המפלגה הבולשביקית בבלארוס, ובמהפכת אוקטובר הוא עמד בראש ההפיכה בהומל. בין 1925 ל-1928 ושוב בין מרץ 1947 לדצמבר אותה שנה שימש כמזכיר ראשון של המפלגה הקומוניסטית באוקראינה. בשנות ה-30 של המאה ה-20, ביחד עם ויאצ'סלב מולוטוב, לקח חלק בתוכנית החומש הסובייטית ובקולקטיביזציה, שהביאו לרעב הגדול (הולודומור) ולמותם ברעב של מיליוני אוקראינים. בתקופת מלחמת העולם השנייה היה בין חברי הקבינט הסובייטי שחתמו על ההוראות לטבח יער קאטין.