约瑟夫生於俄罗斯帝国第比利斯省西部哥里城（今格鲁吉亚什达-卡特利州首府），在家中排行第三。早期他父亲頗為富裕，拥有自己工厂，但酗酒无度還经常家暴、毒打妻儿。及後家庭财政转差，他随父母多次搬家。1888-1894年第比利斯正教小学读书。1894年15岁时，他通過入學考試进入第比利斯一所东正教中学读书；母语是格鲁吉亚语，在那里他精熟俄语，但讲俄语时仍带有格鲁吉亚口音。接受了七藝類學科，如文法、修辞、几何、代数、逻辑、观星（天文）、希腊语（正教必修）、美术、音乐、击剑、射击、游泳等课程教育，成绩不是滿分5分，就是4分，还自学了亚美尼亚语和马术。1895年他開始接触到一些革命书籍，深受马克思主义影响。1898年8月，他加入俄国社会民主工党。1899年，因无法支付突涨的学费，最终放弃考试，被学校开除。随后他供職於第比利斯气象观测台，积极参与革命。1903年，俄国社会民主工党分裂，他选择加入以弗拉基米尔·列宁为首的布尔什维克一边。1905年12月，斯大林参加在芬兰坦佩雷举行的坦佩雷会议，与列宁首次见面。1906年4月参加在瑞典斯德哥尔摩举行的俄国社会民主工党第四次代表大会，与终生相识伏罗希洛夫、捷尔任斯基、季诺维也夫结识。此后，他回到高加索地区，成为主要革命活动者，组织罢工、发放传单，为布尔什维克活动募集资金，為之而抢劫银行、绑架、敲诈。1906年夏天，他和叶卡捷琳娜·斯瓦尼泽结婚，不久首个儿子雅可夫·朱加什维利诞生。