Hans foreldre Samuel og Anna Feinberg innvandret fra russisk Polen. Samuel Feinberg var en av de første forstanderne i den jødiske menigheten i Oslo. Elias Feinberg var gift med Clara Oster (født i Wilno).