Portmans besteforeldre på farsiden var jøder fra Polen og Romania. Portmans farfar, Zvi Yehuda Hershlag, ble født i Polen i 1914 og flyttet i 1938 til det daværende Palestinamandatet, hvor han ble økonomiprofessor. Zvis foreldre døde i Auschwitz. Portmans rumenskfødte oldemor var spion for den britiske etterretningstjenesten under andre verdenskrig. Portmans oldeforeldre Leiser og Leah Hershlag ble drept i Auschwitz.