Ellis nació en una familia judía de Pittsburgh, Pensilvania el 27 de septiembre de 1913 y se crio en Nueva YorkFue el mayor de 3 hermanos, con un hermano dos años más joven y una hermana cuatro años menor.