Wolffsohn tilhører en familie av forretningsfolk. Familien er en jødisk og flyktet 1939 til Palestina. Han er barnebarn av forleggeren og kinopionéren Karl Wolffsohn. I 1954 flyttet familien til Vest-Berlin. Han studerte fra 1966 ved Freie Universität Berlin. I 1968 tok han også israelsk videregående eksamen, og tjenestegjorde i den israelske hæren fra 1967 til 1970. Deretter reiste han tilbake til Berlin. Wolffsohn er tysk statsborger.