חאווייר הגיע ליפן ב-15 באוגוסט 1549 ונחת בקגושימה, הנמל העיקרי של האן סצומה בדרום האי קיושו, והתארח אצל משפחתו של אנג'ירו. ב-29 בספטמבר הוא התקבל בסבר פנים יפות על ידי הדאימיו המקומי שימאזו טקאהיסה (島津 貴久; 1571-1514) שהיה מעוניין לחזק את הקשרים עם הסוחרים הפורטוגזים, ולכן התיר לחאווייר להטיף בתחום שלטונו. במכתב הראשון שכתב חאווייר מקגושימה ב-5 בנובמבר 1549 הוא מתאר את היפנים כעם הטוב ביותר בין עובדי האלילים שנתקל בו עד כה. את השנה הראשונה לשהותו ביפן הקדיש חאווייר ללימוד השפה היפנית. בעזרת אנג'ירו תורגמו ליפנית עיקרי האמונה הנוצרית ומסות קצרות, תרגום שחאווייר כתב באותיות לטיניות, ובו השתמש להטפה וללימוד. אנג'ירו לא היה משכיל ואיכות התרגום של הדוקטרינה הנוצרית שכתב הייתה ירודה ביותר. האב הישועי אלסנדרו ואליניאנו, שמונה ל"מבקר הכללי של המיסיונים בהודו המזרחי" ב-1573, כ-20 שנה אחרי ביקורו של חאווייר ביפן, ושבתקופתו גדלה מאוד הקהילה הנוצרית ביפן, כתב כי התרגום היה עבודה כה רשלנית וקלוקלת עד כי היא עוררה "קריאות בוז וצחוק, הן משום שהאמת בדבריו של האב לא נוסחה היטב, והן משום שהיא נכתבה באופן כזה שלא ניתן היה לקרוא אותה לפני אנשים משכילים מבלי שתעורר צחוק". הבעיה הלשונית הקשה ביותר שעמדה בפני חאווייר הייתה כיצד יש לומר אלוהים ביפנית. המושג היה זר לתרבות היפנית, וכשנשאל אנג'ירו איך מכנים ביפנית את האל הכל יכול הוא הציע את המונח "דאיניצ'י" (大日如来), מונח הלקוח מאסכולת שינגון (真言宗) בבודהיזם היפני (שאליה השתייך אנג'ירו במקור) והמתאר את ויירוקאנה, הבודהה הקוסמי, אחד מחמש בודהות החוכמה. רק זמן רב אחר כך הבין חאווייר את משמעות הביטוי והחל להשתמש במקום זאת בביטוי הלטיני המקובל "דאוס" (Deus). משום כך התקבל חאווייר בתחילה בסבר פנים יפות גם על ידי הנזירים הבודהיסטים. השימוש במונח הבודהיסטי והעובדה שחאווייר הגיע מהודו, מולדת הבודהיזם, גרם להם לחשוב כי חאווייר מטיף לסוג חדש של בודהיזם. למרות קשיים אלו הצליחו חאווייר ועוזריו להמיר את דתם של יותר ממאה יפנים בקגושימה לנצרות, חלקם הגדול קרובי משפחה של אנג'ירו, ושל קבוצה נוספת שהתגוררה בטירת איצ'יקו הסמוכה.
מכיוון שחאווייר נהג לתקוף בהטפותיו את הפעילות הבלתי מוסרית לדעתו של הנזירות הבודהיסטית, הבינו הנזירים בקגושימה כי חאווייר חותר תחתיהם, והם החלו להסית כנגדו ופנו לדאימיו בדרישה שיפסיק את פעילותו של חאווייר. בסופו של דבר נעתר להם הדאימיו ואסר על המרות דת נוספות, איסור שהמעבר עליו היה עונש מוות. חאווייר הבין שלא יוכל יותר לקדם את מטרותיו בקגושימה וביקש את רשותו של הדאימיו להגיע למייאקו (都 ביפנית עיר בירה), כינויה של קיוטו. על סמך הניסיון באירופה ניסה חאווייר להגיע לקיסר יפן בהנחה שאם יצליח לשכנעו להמיר את דתו ילכו ההמונים אחריו (שיטה שהוכחה כיעילה בניצור עמי אירופה). הדאימיו הסכים והעמיד לרשותו של חאווייר ספינה שהובילה אותו להיראדו, עיר ונמל מסחר באי באותו שם סמוך לקצה המערבי של קיושו. חאווייר הפליג להיראדו בסוף אוגוסט 1550, כשהוא משאיר את הטיפול בקהילת המומרים של קגושימה לאנג'ירו. חמישה חודשים אחר כך הצליחו הנזירים הבודהיסטים של קגושימה לגרשו מהעיר. הוא הפך לשודד ים ונהרג זמן קצר אחר כך.
היראדו וימאגוצ'י.
חאווייר הגיע להיראדו בספטמבר 1550. קבלת הפנים שהעניקו לו הסוחרים הפורטוגזים שבנמל שכנעו את מצואורה טקאנובו (松浦 隆信; 1599-1529), הדאימיו המקומי, בחשיבותו של האיש והוא דאג לארח אותו. חאווייר שהה בהיראדו חודש ימים, ובתקופה קצרה זו הצליח לשכנע כמאה מתושבי האי להמיר את דתם לנצרות. הוא המשיך בדרכו לקיוטו יחד עם חואן פרננדס כשהוא משאיר לכומר הישועי קוסמה דה טורס לטפל בקהילה שבאי. אחד מבני הקהילה, סבסטיאן קימורה, היה ליפני הראשון שהוסמך לכמורה, אך הוא סיים את חייו על המוקד ב-1597.
מאוקטובר ועד דצמבר 1550 התגוררו חאווייר ובני לווייתו בימאגוצ'י שבקצה הדרומי של האי הונשו. כדרכו הטיף חאווייר לתושבי העיר מתוך הספר הכתוב באותיות לטיניות כשהאח פרננדס, שהצליח יותר מהאירופאים האחרים ללמוד יפנית, משמש כמתורגמן לשאלות הקהל. העניין שעורר גרם להזמנתו לחצרו של הדאימיו המקומי, אוצ'י יושיטאקה (大内 義隆; 1551-1507). הפגישה כמעט והסתיימה באסון. פרננדס קרא בקול קטעים מהדוקטרינה הנוצרית המתורגמת ליפנית שבה תקף, בין השאר, את תופעת מעשה סדום שאת מבצעיה כינה "מזוהמים יותר מחיה חסרת שכל". הגדרה זו הרגיזה מאוד את הדאימיו, אך הוא הסתפק בהפסקת הפגישה בחטף.
קיוטו.
זמן קצר לפני חג המולד החל חאווייר במסעו צפונה לבירה קיוטו על מנת להיפגש עם הקיסר. חאווייר ופרננדס הלכו במזג אוויר חורפי קשה בדרך ארוכה לנמל הקרוב (ככל הנראה איוואקוני - 岩国市), ומשם הפליגו דרך הים הפנימי סטו לנמל סאקאי הסמוכה לאוסקה. על סמך מכתב המלצה שהביא עמו הוא שוּכן בביתו של אדם בשם קוּדוֹ שגם ארגן את המשך מסעו של חאווייר לקיוטו בחברת אציל יפני. לאכזבתו הגדולה התברר לו שקיוטו היא עיר הרוסה בעקבות סדרה של מלחמות אזרחים, ושהופעתו בבלויי סחבות כתוצאה מהמסע המפרך מונעת ממנו כל מפגש עם הקיסר היפני, שממילא התברר כחסר כל השפעה של ממש על הפוליטיקה של יפן. אף שהניסיון הסתיים בכישלון למד ממנו חאווייר כי הדרך לנצר את האוכלוסייה עוברת דרך השליטים המקומיים (הדאימיו) כיוון שאין ביפן שלטון מרכזי, וכי עוניו המופגן ששבה את לבם של הפראוואס בהודו והמלאים באיי מאלוקו דחה את היפנים.
ימאגוצ'י.
הוא חזר במסע מזורז להיראדו וממנה הגיע לימאגוצ'י במרץ 1551. הפעם הוא התלבש בצורה מהודרת והוא הביא עמו את המתנות שייעד במקור ל"מלך יפן". הדאימיו המקומי, אוצ'י יושיטאקה שאותו הרגיז בביקורו הקודם בימאגוצ'י התרשם והרשה לחאווייר להטיף בתחומי שלטונו. הידיעות על הזרים ועל כך שיש בידם ידע רב, נפוצו בעיר ואל חאווייר הגיע זרם של מבקרים שהתעניינו בהסברים על תופעות הטבע כמו ליקויי חמה, שביט ותופעות שונות של מזג האוויר וחאוויר השתמש בהסברים על מנת לחתור למטרתו העיקרית, דיון ב"יוצר" של כל תופעות הטבע. לאחר התחלה מהוססת הגיעה ההצלחה. תוך ארבעה חודשים הצליח חאווייר להמיר את דתם של כ-500 איש, מרביתם סמוראים או אנשים הקשורים לחצר הדאימיו.
פונאי.
באוגוסט 1551 הגיעה שמועה לאוזניו של חאווייר כי ספינה פורטוגזית הגיעה לפונאי (府内 כיום אויטה), בירת מחוז בונגו בחלקו הצפון מזרחי של קיושו. במקביל קיבל חאווייר הזמנה מאוטומו יושישיגה (大友 義鎮, ידוע יותר בשם אוטומו סורין; 1587-1530), הדאימיו של בונגו, לבקר בפונאי. לאחר שלא קיבל שום דואר מאבות המסדר הישועי מאז שהגיע ליפן, החליט חאווייר לעבור לפונאי והוא הורה לאב טורס, ששהה אז בהיראדו, לעבור לימאגוצ'י על מנת לטפל בקהילה המקומית. בספטמבר 1551 התקבל חאווייר על ידי הפורטוגזים בנמל של פונאי בתהלוכה ובמטחי תותחים שהרשימו את השליט בן ה-22. בין השוהים על הספינות של הפורטוגזים היה גם ההרפתקן ומגלה הארצות פרנאו מנדש פינטו, והוא השאיר תיאור מפורט של המפגש בין הדאימיו לחאווייר ושל הוויכוחים התאולוגים בין חאווייר לנזירים הבודהיסטים בפונאי בספרו "מסעות". מנדש פינטו גם תרם כסף לחאווייר עבור הקמת הכנסייה הראשונה ביפן שהוקמה בימאגוצ'י. בפונאי התברר לחאווייר כי לא התקבלו מכתבים עבורו, והוא חש כי הזניח את תפקידו כראש מסדר הישועים במזרח הרחוק ולכן הוא חייב לחזור להודו.
נס החד-תרנית והחזרה להודו.
בסוף של דבר נשאה שהותו של חאווייר בת השנתיים וחצי ביפן פירות וקהיליות נוצריות הוקמו בקגושימה, בהיראדו, בימאגוצ'י ובפונאי. בסוף 1551, חזר חאווייר להודו לאחר שהשאיר לאב קוסמה דה טורס, ולאח חואן פרננדס את המשך הטיפול בקהילות הנוצרים שכללו כ-1,000 מומרים. חאווייר סלל את הדרך למיסיונרים הנודעים שבאו אחריו, אלסנדרו ואליניאנו ומטאו ריצ'י בכך שקבע שאין לנסות לכפות את התרבות האירופית על היפנים, אלא אם יש בתרבות זו אלמנטים המתנגשים בנצרות, והוא הקפיד לחיות ולאכול על פי מנהג המקום.
פרנאו מנדש שליווה אותו בקטע הראשון של מסעו מיפן מספר על "נס" נוסף שבו נטל חאווייר חלק. בקטע זה פרצה סופה עזה והקברניט דוראטה דה גמה (Duarte da Gama) החליט לאייש את החד-תרנית הקטנה שהייתה קשורה לספינה ותפקדה כסירת הצלה, על מנת להבטיח שלא תתנגש בספינה. בסופה נקרע החבל שקשר בין הספינה לחד-תרנית, והחד-תרנית ובה 15 איש התרחקה חיש מהר בסופה. כולם כבר הספידו את הצוות בחד-תרנית, אבל חאווייר התעקש להתפלל לשלומם ולדרוש מהקברניט להמשיך לחפש אותם. בדרך נס נמצאה החד-תרנית, ב-17 בדצמבר 1551, כמעט יומים אחר-כך, כשאנשיה עדיין בחיים. עובדה שחיזקה את המוניטין שיצא לחאווייר כעושה ניסים. הסופה אילצה את הספינה לעצור באי שאנגצ'ואן בסמוך לגואנגג'ואו בסין שם הייתה לפורטוגזים תחנת מסחר. בשאנגצ'ואן עבר חאווייר לספינתו של דיוגו פריירה (Diogo Pereira), סוחר עשיר ומכר ותיק מקוצ'ין שבהודו, שהפליגה למלאקה. חאוויר הגיע למלאקה ב-27 בדצמבר 1551 ולגואה בינואר 1552.
ניסיון הכניסה לסין.