イェカチェリーナ・スワニーゼ
釈放はされたものの、自宅へ帰ることは許されず、警察署長の自宅で2か月間暮らすこととなった。スターリンは頻繁に彼女の元を訪れていたが、警官たちはスターリンには見覚えが無かった。1907年3月18日、イェカチェリーナは息子を出産した。息子は「ヤーコフ」と名付けられた。スターリンは、自分の母と一緒に妻の出産に立ち会った。サイモン・セバーグ・モンテフィオーレによれば、この名前は幼いころのスターリンが母親と一緒に助けたヤコビ・エグナタシュヴィリに敬意を込めて付けたという。スターリンは、ヤーコフ誕生後も仕事を続けていたが、時折息子と遊び、その際には「パッツァン」(Пацан, 「男の子」「少年」の意味)と呼びかけていた。
ヤーコフ誕生から数か月後、スターリンは1907年に発生したティフリス銀行強盗に関与した。この銀行強盗は怪我人や死者を多数出した大規模なものとなった。スターリンは逮捕を避けるため、家族を連れてアゼルバイジャンの首都、バクーに逃亡した。彼らは、郊外、海に面した「バイル半島にある、天井の低いタタール族の建物」を借りることにした。イェカチェリーナは職探しに出向こうとするも、幼いヤーコフの世話をするのに精一杯であった。
ラテン文字による表記は「Monaselidze」であり、グルジア語による表記は「მონასელიძე」。グルジア語圏においては、ややありふれた名前である。
1905年、アレクサンドルはスターリンを招待し、3人の姉妹および義兄のミヘイルと一緒に暮らすようになった。画室は上流階級の顧客が頻繁に出入りし、その中心的な場所でもあったことの相乗効果により、隠れ家として使うには格好の場所であった。のちにモナシェリージェは「警察から疑惑の目を向けられる心配が無い場所。私の仲間が一室にて違法な事柄に手を染めている間、妻はその隣で、将軍の妻が着るドレスの寸法を測っていた」と書いている。スターリンは、このときに初めてイェカチェリーナに出会ったと思われるが、それ以前に彼女の両親と一緒に隠れて暮らしていた可能性がある。
まもなくスターリンはイェカチェリーナに興味を抱いた。スターリンがイェカチェリーナに抱いた印象について、のちの2人目の妻、ナジェージダ・アリルーエヴァ(Надежда Аллилуева)との間に生まれた娘、スヴェトラーナ・アリルーエヴァ(Светлана Аллилуева)に対して「思い遣りに溢れ、妙齢の女性であり、私の心を落ち着かせてくれた」と語っている。イェカチェリーナもまた、スターリンに対して敬慕の念を抱いており、彼の気持ちに共感していた。彼女はスターリンの思想のみならずスターリン自身にも魅了されていた。
イェカチェリーナは十分な教育を受けたグルジア人女性であり、共産思想に強い関心を示すようになった。ロシア社会民主労働党のために資金調達の催しを企画したり、負傷した革命家の世話を手伝ったりもしていた。