Agnon ble født Butsjatsj, en by sentralt i det historiske området Galicia, som i dag tilhører Ukraina. I 1908 emigrerte han til Palestina, som da var en del av Det osmanske rike. I 1912 flyttet han tilbake til Europa, til Tyskland, der han ble værende de neste 12 årene. I 1924 flyttet han igjen til Palestina, som i mellomtiden var blitt til Palestinamandatet, og ble værende der resten av sitt liv.