Eliezer Silver ble født i Obeliai i Litauen som den ene av de to sønnene til rabbiner Bunim Tzemach (1844–1917)og Malka Silver. Han kom fra slekt av flere århundrer med rabbinere. Han studerte i Dvinsk (Daugavpils) sammen med rabbiner Yosef Rosen («Rogatchover Gaon») og mottok semicha eller ordinasjon av rabbiner Chaim Ozer Grodzinski i 1906. Året etter utvandret han til USA sammen med sin hustru for å slippe unna antisemittismen i tsarens Russland. De bosatte seg i New York City, hvor han arbeidet som selger av klær og senere solgte forsikring.