Milstein syntyi Odessassa, jossa hän sai alkeisopetusta Pjotr Stoljarskilta. Tämä oli myös David Oistrahin opettaja. Kun Milstein oli 11-vuotias, Leopold Auer kutsui hänet oppilaakseen Pietarin konservatorioon. Auerin siirryttyä Norjaan vuoden 1917 vallankumousten jälkeen Milstein palasi Odessaan. Vuonna 1921 hän tutustui Kiovassa pianisti Vladimir Horowitziin, jonka kanssa ystävystyi ja esiintyi usein. Vuonna 1925 he tekivätkin yhteisen konserttimatkan Länsi-Euroopassa. Tänä aikana Milstein sai jonkin aikaa opetusta myös viulisti Eugène Ysaÿelta.