Arafat ble født i Kairo av palestinske foreldre. Hans far, Abdel Raouf al-Kidwa al-Husseini, var fra Gaza; Yasirs farmor var fra Egypt. Arafats far jobbet som tekstilhandler i Kairos flerkulturelle distrikt, Sakanini. Yasir var den nest yngste av syv barn og var, (sammen med sin yngre bror Fathi), det eneste avkommet som ble født i Kairo. Hans mor, Zahwa Abul Saoud, døde av en nyresykdom i 1933, da Arafat var fire år gammel.