Yosef Taieb ble født i Paris' 15. arrondissement av foreldre av tunisisk jødisk bakgrunn. Han emigrerte til Israel som 17-åring for å studere ved Mir Yeshiva i Jerusalem. Under verneplikten i Israels forsvar tjenestegjorde han i Givati-brigaden.