瓦尼泽在1907年12月因斑疹伤寒去世，父亲因为悲伤而将他送往娘家抚养。
与父亲的关系.直到14岁前，雅科夫一直生活在格鲁吉亚的舅母家中。后来苏联政权建立，父亲斯大林在中央担任要职。1921年，舅舅亚历山大·斯瓦尼泽劝说他前往莫斯科接受高等教育。雅科夫当时只会说格鲁吉亚语，他抵达莫斯科后，为了申请进入大学，开始学习俄语。雅科夫来到莫斯科，见到了当时已经是苏联最高领导人的父亲斯大林。斯大林已经娶娜杰日达·阿利卢耶娃为第二任妻子，生下了次子瓦西里·朱加什维利。斯大林为了让他不因他父