נולד בבלארוס (רוסיה הלבנה) לרב אברהם ולפייגא לאה גולדשמידט. אביו חיבר את הספר "כרם אברהם" על סדר זרעים. בילדותו עלתה משפחתו לעיר חברון בארץ ישראל עם תלמידי ישיבת סלבודקא. כשהיה כבן 13 התחוללו מאורעות פרעות תרפ"ט. הוא ניצל עם בני משפחתו כשהסתתר בבית משפחת סלונים. לאחר הפרעות עברה משפחתו לירושלים והוא נכנס ללמוד בישיבת תפארת צבי. לאחר מכן למד בישיבת תפארת ישראל בחיפה ובשנת תרצ"ג עבר ללמוד בישיבת חברון אצל הרב יחזקאל סרנא (לימים הפך לתלמידו המובהק).