斯大林1904年首次结婚，1907年他的妻子叶卡捷琳娜·斯瓦尼泽死於斑疹伤寒。他们的儿子雅可夫·朱加什维利被姨妈养大，成年后来到莫斯科接受高等教育。雅可夫和父亲的相处并不愉快。后来雅可夫在苏德战争中任苏联红军西方面军炮兵连上尉连长，1941年在斯摩棱斯克战役中被德军俘虏，後德军提出用雅可夫交换被俘的弗里德里希·保盧斯元帅，斯大林答稱“我不会用一名将军交换一名士兵”、“我没有一个叫雅可夫的儿子”及“你们手里不只是我儿子雅可夫，还有上百万人都是我的儿子，要么把他们全部释放，要么让雅可夫和他们分享同样的命运”，断然拒绝。但在雅科夫被关押期间，斯大林曾组织过两次对他的营救，皆以失败告终。1943年，雅可夫在德国俘虏营中，因拒絕服從警衛命令而被槍殺。