יוסף שרברק נולד בעיירה פאסטוב שליד העיר וילנה (פוסטאווי; כיום פסטאווי, בבלארוס), בנם של מלכה לבית דובקין ושכנא, שו"ב. הוא קיבל חינוך יהודי מסורתי ב"חדרים" ובישיבה, וכבר מנעוריו נמשך להשכלה ולציונות. בהיותו נער השתתף בהוצאת הספרים "ש. שרעבערק" שייסד בווילנה ב-1900 אחיו הגדול, שלמה שרברק (1876–1944). היה חבר ב"צעירי ציון" בווילנה, ובחודש אפריל 1914, בגיל 17, עלה לארץ ישראל כחלוץ. ב-1915, בעת מלחמת העולם הראשונה, היה בין המגורשים מיפו לאלכסנדריה. שם התנדב לגדוד נהגי הפרדות, אך משנודע שהגדוד אינו עתיד להגיע לארץ ישראל אלא יישלח לגליפולי, נסע לארצות הברית. הוא היה מראשוני המתנדבים לגדוד העברי האמריקאי (גדוד 39 של קלעי המלך) בפיקודו של אליעזר מרגולין, והשתתף בכיבוש העיר סלט שבעבר הירדן. לאחר שחרורו התיישב בירושלים. במאורעות פסח תר"פ (1920) שימש שרברק כמפקד פלוגת ההגנה על שכונת בתי אונגרין במסגרת קבוצת הלוחמים שארגן זאב ז'בוטינסקי להגנה על העיר העתיקה בירושלים.