Stalin menikahi Kato Svanidze di sebuah gereja di Tskhakaya pada Juli 1906. Pada Maret 1907, ia dikaruniai seorang putra yang bernama Yakov. Menurut sejarawan Robert Service, Stalin telah menjadi "Bolshevik utama Georgia" pada masa itu. Ia menghadiri Kongres PBDSR Kelima, yang diadakan di kota London pada Mei–Juni 1907. Sekembalinya di Tiflis, Stalin mengadakan perampokan uang dalam jumlah besar yang sedang dikirim ke Bank Kekaisaran pada Juni 1907. Gengnya menyergap konvoi bersenjata yang membawa uang tersebut di Lapangan Yerevan dengan senjata api dan bom yang dibuat sendiri. Sekitar 40 orang tewas, tetapi anggota-anggota geng Stalin berhasil lolos.