斯坦出生在俄罗斯帝国敖德萨（今乌克兰境内）一个犹太人家庭，在家中七名子女中排行第四。据说，由于目睹11岁的雅沙·海菲茨在演奏会上杰出的表现，米尔斯坦家的双亲决意栽培孩子成为一名小提琴家。7岁时，米尔斯坦师从学小提琴，11岁受入莱奥波德·奥尔邀请，入圣彼得堡音乐学院。米尔斯坦回忆圣彼得堡的学习历程 ：米尔斯坦亦曾师从比利时小提琴家欧仁·伊萨伊，但他认为自己从伊萨伊处所得甚少。他在自己的纪录片中回忆道：「1926年，我开始同伊萨伊上课，但他并不怎么注意我。我认为这样也许更好，我毕竟必须为自己打算些。」