Kaganovitsj, som ble født inn i en fattig jødisk familie, fullførte sin skoleutdanning i 1906 og reiste til Kiev, der han arbeidet som skomaker i en fabrikk. I 1911, påvirket av sin eldre bror Mikhail, meldte han seg inn i bosjevikpartiet og ble aktiv i fagbevegelsen.