סיפורים נוספים של עגנון הופיעו בעיקר בעיתון "הפועל הצעיר", וכן בעיתון "השילוח" באודסה, בעיתון "הצפירה" בוורשה ובקבצים נוספים.
ב-29 במרץ 1909 הגיע המשורר חיים נחמן ביאליק לביקורו הראשון בארץ ישראל, שהחל ביפו. ש. בן ציון הפגיש את ביאליק עם עגנון, ובעקבות זאת הצטרף עגנון אל ביאליק לסיורו במושבות ארץ ישראל. בכך החלה ידידותם של ביאליק ועגנון, שנמשכה עד לפטירתו של ביאליק.
ב-12 במאי 1909 החל להתפרסם ב"הפועל הצעיר" הסיפור "בארה של מרים או קטעים מחיי אנוש", שפורסם בחמישה המשכים. בחודשים אוקטובר-נובמבר 1911 הופיע ב"הפועל הצעיר", בארבעה המשכים, הסיפור "תשרי" (שגרסה מאוחרת שלו נקראת "גבעת החול"). בקורות גיבורם של שני סיפורים אלה, חמדת, משתקפים יסודות ביוגרפיים של עגנון.
בשנת 1910, במהלך עבודתו כמזכירו של ש. בן ציון, אשתו של בן ציון נפטרה בטבריה ועגנון דאג לקבורתה בעיר. לאחר שנפסקה עבודתו אצל ש. בן ציון היה עגנון מזכיר "ועד חובבי ציון", ועבד בבית משפט השלום ובמשרד הארצישראלי.
ביפו נטש עגנון את אורח החיים הדתי, אך השתתף בשיעורים שנתן הרב קוק, רבה של יפו.
בסוף שנת 1911 כתב עגנון, בעבודה אינטנסיבית שנמשכה ארבעה ימים, את הנובלה "והיה העקוב למישור". ב-9 בינואר 1912 החלה הנובלה להתפרסם ב"הפועל הצעיר", והיא נדפסה בו בתשעה המשכים, עד לחודש מאי. לאחר מכן הוציא לאור ברנר את הנובלה בצורת ספר בן 64 עמודים.
בסוף ינואר 1912 עבר עגנון, בעקבותיו של ברנר, לירושלים. באביב של אותה שנה חזר ליפו, ובקיץ חזר לירושלים.
הגירתו לגרמניה.
ארתור רופין, מנהל המשרד הארצישראלי ביפו, הציע לעגנון להצטרף אליו לנסיעה לגרמניה בענייני משרדו, ועגנון נענה להצעה, חרף שידוליו של ברנר שלא ייסע. ב-28 באוקטובר 1912 הפליגו רופין ועגנון מיפו בדרכם לברלין.
כעבור זמן מה חזר רופין לארץ ישראל, ועגנון נשאר בברלין. תחילה התפרנס ממתן שיעורים פרטיים בעברית, וכעבור חודשים אחדים קיבל, בהמלצתו של מרטין בובר, משרה בהוצאת הספרים "יודישער פרלאג" (Jüdischer Verlag). עגנון קשר קשרים הדוקים עם בובר, שסייע לו להיקלט בקהילה היהודית בברלין. בין השאר פגש עגנון בברלין את המשורר דוד שמעוני, את בן-ציון דינור, את זלמן שזר, את גרשם שלום ואת המבקר והמו"ל פישל לחובר. זמן רב בילה עגנון בספריותיה של ברלין, ובפרט בספריית הקהילה היהודית. גרשם שלום, שהרבה אף הוא לבקר בספרייה זו, סיפר שראה את עגנון מאריך בעיון בקטלוג הספרייה, וכאשר שאל את עגנון לפשר הדבר נענה: "חיפשתי ספר, שאולי לא קראתיו עדיין". עוד סיפר שלום על ימיו אלה של עגנון בברלין: "הרבה שירים כתב בתקופה ההיא, שרוח של בדידות נוראה הייתה שרויה עליהם".
יצירה בולטת של עגנון בתקופה זו היא הסיפור "החופה השחורה" (בגרסה מאוחרת "חופת דודים"), שפורסם בירחון "השילוח" לפי בקשת עורכו, יוסף קלוזנר.
בסוף שנת 1915 הפגיש בובר את עגנון עם איש העסקים שלמה זלמן שוקן, שהעניק לעגנון תמיכה כספית וחברתית. מדי פעם שלח שוקן את עגנון למנוחה בעיירת הנופש באד בריקנאו. בין שוקן לעגנון התקיים קשר מכתבים רצוף. לימים הפך שוקן למו"ל של עגנון, שהוציא לאור את כל ספריו בהוצאת שוקן, ופרסם סיפורים קצרים שלו בעיתון "הארץ", לאחר שהעיתון עבר לבעלותה של משפחת שוקן.
בשנת 1916, שנתיים לאחר פרוץ מלחמת העולם הראשונה, קיבל עגנון צו גיוס. הוא פגע בבריאותו כדי להימנע מגיוס ואכן לא גויס, אך אושפז במשך חמישה חודשים בבית החולים היהודי בברלין.
בגרמניה כתב את הסיפורים "הנדח", "בנערינו ובזקנינו", "בדמי ימיה" ועוד, וכן עסק, יחד עם בובר, באיסוף סיפורי חסידים. בנוסף, עסק בשכתוב ובליטוש של יצירות קודמות שלו, כולל כאלה שכבר יצאו לאור. בין השאר ערך שינויים ניכרים בנובלה "והיה העקוב למישור", וזו פורסמה מחדש בהוצאת "יודישער פרלאג". בתקופה זו הרבה עגנון לפרסם בגרמנית, בין השאר בירחון "דר יודה" (Der Jude) שיסד בובר ב-1916. בנוסף ערך שתי אנתולוגיות: "ספר יהודי פולין" ו"מעוז צור - ספר החנוכה".
בשנת 1919 שלח שוקן את עגנון למינכן, על מנת שיחבר, יחד עם הציירת תום פרויד, ספר מאויר לילדים על אותיות האלפבית העברי. "ספר האותיות" של עגנון ופרויד נכתב אך לא יצא לאור ("ספר האותיות" יצא לאור בסופו של דבר רק בשנת 1984 ובו הטקסט של עגנון, אך לא עם ציוריה של פרויד). בעת שהותו במינכן פגש עגנון את אסתר מרכס, שאותה לימד עברית בעבר, שבאה למינכן כדי ללמוד באקדמיה לציור. השניים החליטו להינשא, חרף התנגדותו של אביה, הבנקאי גאורג מרכס, שלא שש לרעיון שבתו תינשא ליהודי מן המזרח ("אוסטיודה") שפרנסתו על הכתיבה. ב-6 במאי 1920 נישאו השניים (שם החיבה של אסתר מופיע בכותרת אוסף המכתבים "אסתרליין יקירתי", שיצא לאור לאחר פטירתו של עגנון). השניים שכרו דירה בוויסבאדן.
מו"ל חשוב שקשר קשרים עם עגנון הוא אברהם יוסף שטיבל, בעליה של הוצאת שטיבל. בשנת 1919 פורסם סיפורו של עגנון, "הנדח", ברבעון "התקופה" של הוצאת שטיבל בוורשה, בעריכתו של דוד פרישמן. סדרת הסיפורים הקצרים "" פורסמה אף היא ברבעון "התקופה". ברבעון "מקלט", שאותו פרסמה הוצאת שטיבל בניו יורק, פורסמו סיפורים נוספים של עגנון, ובהם סיפור שהיווה גרעין לרומן "הכנסת כלה".
בשנת 1921, לאחר הולדת בתם הבכורה, אמונה, עברו עגנון ואשתו לדירה מרווחת בבאד הומבורג. כעבור שנה נולד הבן שלום מרדכי, שנקרא כך על שם אביו של עגנון, אך אשתו של עגנון העדיפה את הכינוי "חמדת", כשם דמות בשניים מסיפורי עגנון. בבאד הומבורג הייתה קהילה יהודית גדולה. בשנת 1922 עבר גם חיים נחמן ביאליק להתגורר בה, והקשרים בינו לבין עגנון התהדקו.
בשנת 1921 יצא לאור, בהוצאת "יודישער פרלאג", קובץ סיפוריו הראשון של עגנון, "בסוד ישרים". בשנת 1922 יצא לאור, באותה הוצאה, ספרו של עגנון "על כפות המנעול", שהוא קובץ סיפורי אהבה.
במכתבים ששלח לאנשים שונים סיפר עגנון על ספרים וסיפורים רבים שהוא עוסק בכתיבתם, ובהם רומן בשם "בצרור החיים", רומן בשם "קיטה וגריטה", מחזה בשם "רמברנדט ואסתר", סיפור המתרחש בתקופת מסעי הצלב, ועוד. כן עסק במיזם משותף עם בובר לפרסום קובץ של סיפורי חסידים.
ב-6 ביוני 1924 פרצה שרֵפה בביתו של עגנון בבאד הומבורג, וכל כתבי-היד שלו ואוסף ספריו הגדול עלו באש. שוקן שיגר פועלים שניסו לאתר שרידים מכתבי היד, אך אלה כמעט לא העלו דבר. עגנון היה מאושפז בבית חולים בעת השרפה, ואשתו וילדיו ניצלו ברגע האחרון. טראומה זו מופיעה מדי פעם בסיפוריו. עגנון תיאר את נזקי השרפה: "בתוך הספרים שנשרפו היה רומן גדול של שישים גליונות דפוס שהודיע עליו המו"ל, שהוא עומד להוציא את החלק הראשון. עם הרומן הזה, 'בצרור החיים' שמו, נשרף כל מה שכתבתי מיום שירדתי מארץ ישראל לגולה, וכן הספר שעשיתי עם מרטין בובר. מלבד ארבעת אלפים ספרים עבריים שרובם באו בירושה מאבותי ומקצתם קניתי מכספי שקמצתי מלחם".
השתקעותו בארץ ישראל.
לאחר השרפה החליטו בני הזוג עגנון לעלות לארץ ישראל - תחילה עגנון לבדו, ולאחר שיתבסס יצטרפו אליו אשתו וילדיו, שבתקופה זו התגוררו בבית הוריה של אסתר בקניגסברג. באוקטובר 1924, בהיותו כבן 37 שנים, עלה עגנון שנית לירושלים, והפעם לצמיתות. הוא החל לחבוש כיפה, שב בכל לבו לשמירת המצוות, ודבק בהן עד סוף ימיו. חוקר הספרות דן לאור מציין: "קשה לקבוע במדויק את סיבותיו של השינוי שחל בו בעניין זה, ואף קשה לקבוע באיזו מידה היה השינוי קשור לטראומה שחווה בעקבות שרֵפת ביתו בבאד הומבורג. אולם עובדה היא כי סימני השינוי כבר ניכרו במכתביו למכותבים שונים בחודשים שלאחר השרפה, והם הפכו לעובדה מוגמרת לאחר בואו לארץ."
בירושלים התגורר עגנון בבית משפחת גרינהוט שבמרכז העיר (ברחוב שמאי של היום), בעלייה ששימשה אותו למגורים ולכתיבה. הוא פרסם סיפורים בכתבי העת "הפועל הצעיר", "מאזנים", "הדים", "מולדת" ובעיתון "דבר" (שפרסם סיפור מאת עגנון כבר בגיליונו הראשון). בשנה הראשונה לשהייתו בירושלים עסק עגנון בהרחבת סדרת הסיפורים הקצרים "פולין", והסדרה בשלמותה (14 סיפורים) יצאה לאור כספר בשם "" בהוצאת "הדים", בהנהלתו של אשר ברש.
לאחר דחיות אחדות מצדו של עגנון, שעוררו את זעמה של אשתו, הגיעו גם אשתו וילדיו לארץ ישראל, בנובמבר 1925, והצטרפו אליו לדירה שבה התגורר, לאחר שבעלי הדירה יצאו ממנה.
במאי 1925 הגיע שלמה זלמן שוקן לביקור בארץ ישראל, ועגנון העלה בפניו את רצונו להוציא לאור אוסף של כל כתביו. תוך זמן מה החליט שוקן להיות המו"ל של ספרים אלה. עגנון נערך לפרסום כל כתביו. תהליך זה נמשך זמן רב, משום שעגנון לא הסתפק בליקוט הסיפורים, אלא טרח על עריכתם ושיפורם. במקביל להכנות לפרסום כל כתביו עסק עגנון בהרחבתו של הסיפור "הכנסת כלה", שפורסם בכתב העת "מקלט", לרומן בשם זה. בשנת 1931 יסד שוקן בברלין את הוצאת שוקן (Schocken Verlag), שהפכה להוצאה מובילה בגרמניה לספרי יהדות.