Stalin ontwikkelde zich tot kenner van de niet-Russische volkeren, en werd als zodanig door Lenin gerespecteerd. Zijn kennis van het marxisme was niettemin gering. In 1912 vestigde hij zich korte tijd in Wenen en schreef samen met Nikolaj Boecharin een boekje over het nationaliteitenvraagstuk in Rusland. In dat jaar werd hij in het Centraal Comité gekozen. Terug in Rusland werd hij gearresteerd en naar de Siberische stad Narym verbannen. Hij wist echter al snel weer te ontsnappen. Op 23 februari 1913 werd hij opnieuw gearresteerd en via Krasnojarsk in september naar het dorpje Kostino bij de Midden-Siberische stad Toeroechansk gebracht, waar hij onder strenge politiebewaking werd geplaatst. In maart 1914 werd hij naar het arctisch gebied gebracht, naar het dorpje Koerejka ten noorden van de noordpoolcirkel en onder nog zwaardere politiebewaking gesteld. Later werd hij weer overgeplaatst naar Toeroechansk, waar hij tot de Februarirevolutie (1917) verbleef.