Ben-Zvi ble født i Poltava (dagens Ukraina) som den eldste sønn av Zvi Shimshelevitz, som senere tok navnet Shimshi. Under pogromene i 1905 var han aktiv i de jødiske selvforsvarsgruppene og ble medlem av det sionistiske politiske partiet Poalei Zion («Sions arbeidere»).