Agnon påsto selv at han ankom Palestina på Lag ba’ómer i det jødiske året 5668, men i virkeligheten ankom han trolig omtrent tre uker senere, i begynnelsen av juni 1908. I Jaffa bosatte Agnon seg i bydelen Neve Tzedek og begynte i en administrativ stilling i tidsskriftet «Ha-Omer.» I denne stillingen fortsatte han i tre år. I den tredje utgaven av «Ha-Omer» publiserte Agnon novellen «Agunot,» hans første utgivelse i Palestina. Fra novellens tittel avledet han navnet «Agnon,» som han signerte teksten med, og deretter antok som sitt ; fra 1924 ble det også hans offisielle navn. «Agunot» skulle bli den tidligste teksten Agnon-teksten i senere novellesamlinger, og regnes ofte som hans debut til tross for at den ikke var den første teksten han publiserte.