Joseph Agassi vokste opp i Jerusalem i en ultraortodoks familie av den gamle Yishuv. Faren hans, Shmuel Meir Birnbaum, født i Beregsaz (i i ukrainsk del av Tsarrussland), immigrerte etter første verdenskrig og var lærer i forskjellige fag på videregående skoler i Jerusalem. Hans bestefar, hans mors far, Yehoshua Meir Reichman, var en kjent forretningsmann i den gamle bosetningen i Jerusalem, en av direktørene for Etz Haim Yeshiva og Bikur Cholim Hospital. Hans fetter var Yossi Harel (mødrene deres var tvillingsøstre). Familien bodde i Bukharan Quarter i Jerusalem.