Ornstein fue reconocido desde pequeño como un prodigio en el piano; en 1902, cuando el celebrado pianista Josef Hoffman visitó Kremenchug, escuchó tocar al niño Ornstein de ocho años.