I 1903, som femtenåring, publiserte han sin første tekst, et dikt på jiddisch om kabbalisten Yosef De La Reina, en figur han fortsatte å være opptatt av senere i livet. Seksten år gammel publiserte han sitt første dikt på hebraisk, kalt «En liten helt.» Om utgivelsen av dette diktet skrev Agnon mange år senere: Den unge Agnon fortsatte å publisere dikt og noveller i forskjellige tidsskrifter i Galicja. På denne tiden fortsatte han å skrive både på jiddisch og på hebraisk.