他抵达莫斯科后，为了申请进入大学，开始学习俄语。雅科夫来到莫斯科，见到了当时已经是苏联最高领导人的父亲斯大林。斯大林已经娶娜杰日达·阿利卢耶娃为第二任妻子，生下了次子瓦西里·朱加什维利。斯大林为了让他不因他父亲的地位而自满，经常对他说“你只不过是一个鞋匠而已”。1925年，雅科夫从一所电业学校毕业，成为一名电技工。同一年中，他与未婚妻尤利娅·梅尔策（Yulia Meltzer）结婚，尤利娅是乌克兰敖德萨的一位着名的犹太人舞蹈家。斯大林非常讨厌自己的儿媳妇是犹太人，因此对雅科夫更加疏远，父子两人经常争