1907年6月26日，他和手下在第比利斯市内广场伏击帝国银行护送队。枪战中，自制炸弹爆炸殺死40人，而他和手下則劫取了25万卢布，分文不留，全数上交给组织。但当时孟什维克主导的外高加索党组织认为抢银行属于违纪行为，将斯大林开除出党。此时斯大林的妻子已经身患重病，由于被开除出党领不到工资，又没有从巨款中贪污，没钱给妻子治病，后者于1907年12月因斑疹伤寒离世。他在悲痛中渡过几个月后，把孩子雅可夫交给娘家抚养。到巴库后，他积极从事阿塞拜疆和波斯地区革命活动，暗杀极右翼民族主义团体“黑色百人团”成员，并参与绑架、抢劫等。1902年4月－1913年3月间，因参加革命活动被逮捕7次、流放6次，从流放地逃出5次。1912年，他来到圣彼得堡，在列宁指示下创办《真理报》。1913年3月，他发表《马克思主义和民族问题》一文，首次使用笔名“斯大林”（Ста́лин，意思为“钢铁的人”）。不久，他最后一次被捕。1916年，沙俄政府将他强征入伍参加第一次世界大战，却被医生检查出左臂有伤，于是他免于参与动员，被流放到阿钦斯克。