Oz ble født i Jerusalem hvor han vokste opp i Amosgaten 18 i området Kerem Avraham. Rundt halvparten av bøkene hans foregår i det området eller i nærheten. Foreldrene, Yehuda Arieh Klausner og Fania Musman var sionistiske immigranter fra Øst-Europa. Faren hadde studert historie og litteratur i Vilnius i Litauen og arbeidet som bibliotekar og skribent. Morfaren hadde eid en mølle i Rivne i Polen (nå en del av Ukraina) men flyttet med familien til Haifa i 1934.