Se sabe, eso sí, que Ornstein nació en Kremenchug, una ciudad de Ucrania en la provincia de Poltava, en ese entonces (últimos años del siglo XIX) bajo el dominio del Imperio ruso.