Lustig ble født i en jødisk familie i Kongeriket Jugoslavia (i dagens Kroatia), og ble under andre verdenskrig deportert til Auschwitz og Bergen-Belsen, der han tilbrakte to år. Mesteparten av familien ble massakrert av Ustasja, de kroatiske fascistene, under krigen.