Pahor ble født i Postojna i Slovenia i det daværende Jugoslavia, og tilbrakte barndommen i byen Nova Gorica, før familien flyttet til byen Šempeter pri Gorici nær ved. Hans far døde ung, og moren, Iva Pahor Martelanc (som hadde vært fange i en nazistisk konsentrasjonsleir under andre verdenskrig) oppdro ham som alenemor.