Stalin casou-se com Ekaterina Svanidze em uma cerimônia na igreja em Senaki em julho de 1906. Em março de 1907 ela deu à luz um filho, Yakov. Naquele ano — segundo o historiador Robert Service — o revolucionário se estabeleceu como "o principal bolchevique da Geórgia". Participou do V Congresso do POSDR, realizado em Londres entre maio e junho de 1907. Depois de voltar a Tíflis, organizou em junho o roubo de uma grande quantidade em dinheiro do Banco Imperial. Sua gangue emboscou o comboio armado na Praça de Erevan com armas de fogo e bombas caseiras. Cerca de 40 pessoas foram mortas, mas toda a sua gangue escapou viva. Após o assalto, estabeleceu-se em Baku com sua esposa e filho. Lá, mencheviques o confrontaram sobre o roubo e votaram em expulsá-lo do partido, mas ele não tomou conhecimento deles.