יוסף חיים ירושלמי נולד וגדל בארצות הברית. שני הוריו היגרו מרוסיה; אמו, אווה לבית קפלן, הגיעה לארצות הברית מפינסק ביחד עם סבתו, אחיה ואחיותיה הגיעו לאמריקה לפניה. אביו, לאון, נולד בגולסקובו (הולסקובו) שעל יד אודסה (כיום באוקראינה) למשפחה יהודית-ציונית ששמה ירוסלימסקי, גדל ולמד באודסה והתחיל ללמוד באוניברסיטה, לאחר פרוץ המהפכה הרוסית עלה לארץ ישראל ביחד עם אחיו כחלוץ ושהה בקיבוץ. בשנת 1928 חלה במלריה, קרוב משפחתו שגר בארצות הברית הזמינו אליו, והוא היגר לארצות הברית בה נשאר והרבה לעסוק בפעילות ציונית.