במאמציו של צ'יאנג קאי שק לחסל את האיום הקומוניסטי הוא התעלם מהאיום האמיתי שארב לפתחה של סין. ב-1931 כבשה יפן את מנצ'וריה שבצפון-מזרח סין. שנתיים אחר כך הגיע תורה של מונגוליה הפנימית. כחלק מההסכם שנכפה על סין בשנת 1901 בעקבות כישלון מרד הבוקסרים, הוצב חיל מצב יפני קטן בשָׁאנְהָאיגְווָאן שבקצה המזרחי של החומה. ב-1 בינואר 1933 ביים מפקד הכוח היפני במקום פיצוץ שכביכול כוון נגד אנשיו. חיל המצב הסיני קיבל אולטימטום לפנות את המצודה, ומשסירב הופעלה נגדו הדיוויזיה השמינית היפנית, שהסתייעה במטוסי קרב, בטנקים ובהפגזה מן הים של הצי הקיסרי היפני. יומיים אחר כך היה "המעבר הראשון תחת השמים" בידי היפנים, והסינים נסוגו לאחר שסבלו כ-2,000 הרוגים. היפנים המשיכו בתנופה. פחות מחודשיים אחר כך הם כבשו את ג'הול (המכונה גם זֶ'אחֶה, פרובינציה לשעבר בצפון-מזרח סין). ב-11 במרץ 1933 בא תורה של החומה הגדולה, המכשול היחיד מעשי ידי אדם בדרך אל בירת סין, בייג'ינג. היפנים הפעילו כוחות משולבים של רגלים, שריון ואוויר כנגד הכוחות הסינים שהגנו על המעברים העיקריים. רוב הצבא הסיני היה עסוק באותה עת במצור על הכוחות הקומוניסטים בדרום, ויחידות הצבא הסיני שהוצבו להגן על החומה היו דלות בחימוש עד כדי כך, שחלק מהחיילים השתמשו בחרבות כנגד החיילים היפנים. למרות היתרון הגדול של היפנים בחימוש ובכוח אדם מיומן הצליחו חלק מהמוצבים של הצבא הסיני שעל החומה, למשל במעברים בשִׂיפֶנְגְקוֹאוּ ובגוּבֵּייקוֹאוּ, להחזיק מעמד ולהדוף זמנית את התקפות היפנים. אולם עד 20 במאי 1933 החליט הצבא הסיני לסגת מהחומה, וב-31 במאי נחתם הסכם טָאנְגְגוּ, על פיו התחייבו הסינים לפרז את האזור עד 100 קילומטרים דרומית לחומה (10 ק"מ צפונית לבייג'ינג) לאורך כ-400 קילומטרים, ולהכיר בסיפוח ג'הול למנצ'וריה היפנית.