הרפז נולד בשנת 1890 בקוסובה, בפלך שדליץ שבתחום המושב של האימפריה הרוסית, באזור פולין, לאביו מנחם מנדל גולדברג (תלמיד חכם, סוחר, מחסידי רדזין) ולאמו לבית אייבשיץ, שנפטרה בילדותו. למד בחדרים ובישיבות שדליץ ולושיץ.