Born in Poltava in the Russian Empire (today in Ukraine), Ben-Zvi was the eldest son of Zvi Shimshelevich, who later took the name Shimshi.
Sinh ra tại Poltava trong Đế quốc Nga (hiện nay ở Ukraina), Ben-Zvi là con trai cả của Zvi Shimshelevich, người sau này đã có tên Shimshi.