בעקבות התקדמות הגרמנים, התקבלה ב־22 באפריל הוראה לסגת מחלקיס לעבר נאפפליו, עיירת נמל בפלופונסוס, בחלק הצפוני ביותר של מפרץ ארגוליס. הכוח, ובו רפאלי, נע בעיקר בלילות במשאיות, ברכבת (שבעזרתה חצו את הגשר מעל תעלת קורינתוס) וברגל. בהגיעם ליעד התברר שהאונייה שהייתה אמורה לפנותם (אוניית נוסעים בשם Ulster Prince) עלתה על שרטון, ופינוים לא יוכל להתבצע. הכוח המשיך בדרכו לעבר קלמטה, שממנה התבצע מבצע פינוי גדול של הכוחות הבריטיים. אך הכוח לא הצליח להתפנות לפני הגעת הגרמנים, ונכנע יחד עם אלפי חיילים ובהם רבים ממתנדבי היישוב בחיל החפרים שהועברו למחנות שבויים.
כמו קצינים וחיילים אחרים, ניסה גם רפאלי להימלט מהכוחות הגרמנים. ביחד עם דוד אייזנברג (חברו מבית הספר הימי בצ'יוויטווקיה), הם התקדמו דרומה, במטרה למצוא כלי שיט שבעזרתו יצליחו להימלט לכרתים, אך סיור גרמני איתר אותם והעבירם למחנה שבויים סמוך לקלמטה ממנו הועברו לאחר זמן קצר למחנה שבויים אחר, סמוך לקורינתוס.
כחודש וחצי לאחר שנשבו, הצליחו רפאלי ואייזנברג לברוח ממחנה השבויים, ביחד עם חבר נוסף מפלוגתם שהיה סלוניקאי במקור. בדרך רצופת סכנות הם הצליחו להגיע לאתונה, שם נפרד מהם החבר הסלוניקאי (ששימש להם כמתורגמן ליוונית) אשר החליט לחזור לביתו. בחיפושיהם אחר מקום מסתור הגיעו רפאלי וחברו באקראי לביתו של קצין בצי היווני, שהחליט לסייע להם. במשך כמה חודשים הסתתרו השניים בבתי מקומיים, וסייעו למחתרת היוונית, בין השאר באיתור גרמנים שהתחזו לשבויים בריטים נמלטים, במטרה להסתנן לתאים של המחתרת המקומית כדי לדכא את ההתנגדות לשלטונות הכיבוש.
בסופו של דבר, בתחילת אוקטובר 1941 הוברחו רפאלי ואייזנברג (עם כמה חיילים ניו זילנדיים וחייל ארצישראלי נוסף) לטורקיה באמצעות סירת דיג, שפעלה בשירות המודיעין הבריטי. הם הונחתו לא בחוף המתוכנן ולכן איש לא המתין להם. חיילים טורקים תפסו אותם למחרת, והם נשלחו לכלא משום שהיו ברשותם מפות ששלחה המחתרת היוונית למודיעין הבריטי. רק לאחר כמה שבועות, שבהם שהו בתנאי מאסר קשים, הגיע הקונסול הבריטי ודאג לשחררם. אחרי שהייה של שבועיים באיסטנבול יצאו רפאלי וחברו לדרכם. הם נסעו ברכבת לדמשק, משם עברו לביירות ולבסוף הגיעו לחיפה, שבה היה (מאז 1940) משרד לחקירת המגיעים מארצות הכיבוש. בסיום החקירה זכו לנופש קצר במתקן של הצבא הבריטי בבת גלים.
השירות ב־MI9.
התנדבות לשירות.
בעקבות התחקור על קורותיהם ביוון, זומנו רפאלי ואייזנברג לפגישה עם קצין מודיעין בריטי בירושלים, ונראה ששם גויסו השניים ל־MI9, יחידה חשאית בריטית שייעודה היה לחלץ שבויים בריטיים משטחים שבשליטת האויב (היחידה, שפעלה במסגרת ה־A' Force' של קולונל דאדלי קלארק, הייתה זו שחילצה את השניים מיוון לטורקיה).
באותם ימים המשימה הבוערת באזורנו הייתה לחלץ מיוון אנשי צבא בריטים שמצאו מסתור בהרים או בבתים פרטיים ונעזרו באוכלוסייה המקומית. היו אלה אנשי צבא שכלל לא נשבו, אלא ברחו להרים בשלב הנסיגה ומצאו בהמשך מקומות מסתור, וגם אנשי צבא שנשבו, אך הצליחו להימלט מהשבי לפני שהשבויים הועברו מיוון לגרמניה. בין ה"תקועים" ביוון היו גם קצינים ואפילו קצינים בכירים, שהיו נחוצים להמשך המערכה.
הרצון הבריטי לצרף את רפאלי ואייזנברג ל־MI9 נבע מהיכרותם עם השטח, מקשריהם עם המחתרת היוונית, מניסיונם האישי בהימלטות, מידיעתם את השפה היוונית ומהיותם אנשי ים. השירות ביחידה זו היה מותנה בהתנדבות, והשניים אכן התנדבו לשרת בה. בשל שליטתו בשפות רבות החליטו הבריטים להעסיק את אייזנברג בחקירת שבויים גרמנים ואיטלקים במצרים, ואילו רפאלי נשלח להכשרה, שבסיומה הצטרף לפעילות במימי יוון הכבושה – בים האגיאי.
הפעילות בים האגיאי.
הרעיון היה להפעיל ספינות, שבמסווה של פעילות דיג יאספו שבויים בריטים מהשטחים הכבושים על ידי הגרמנים ביוון ויובילו אותם לקפריסין, שבה היה הבסיס שממנו התנהלה הפעילות. לשם כך רכש המודיעין הבריטי ספינות דיג קטנות במעמס של כ־100 טון (שנקראו "קהיקי" – מילה שפירושה ביוונית "ספינה קטנה"). הספינות הפליגו בין איי יוון ולאורך חופיה, והפעילו אותן ימאים ודייגים יוונים. על כל אחת מהן היה נציג של יחידת המודיעין הבריטית, שהיה אחראי על תיאום מקומות מפגש שבהן ייפגשו עם סירות דיג קטנות שייצאו מחופי יוון (מיוון "היבשתית" ומהאיים) כשעליהן הקצינים והחיילים הבריטים שהיה צריך לחלץ. העברת החיילים מסירות הדיג לספינות של היחידה התבצעה תמיד בלב ים, וכאשר הצטברו על ה"קהיקי" די מחולצים, היא הביאה אותם לחוף מבטחים, בדרך כלל לקפריסין. רפאלי עסק בפעילות זו עד קיץ 1943, כלומר במשך יותר משנה. בחלק מהתקופה הוא הפליג כנציג היחידה על "קהיקי", ובחלק אחר הוא נשאר על החוף וארגן את הפעילות הימית בגזרה.
הלחימה בסיציליה ובדרום איטליה.
בליל 9–10 ביולי 1943 החלה פלישת בנות הברית לסיציליה (מבצע האסקי). רפאלי, יחד עם אנשים נוספים מיחידת המודיעין שאליה השתייך, צורפו לכוח הפולש כיחידת סיור קדמית. הם התקדמו עם כוחות הארמייה השמינית בפיקודו של גנרל מונטגומרי ומשימתם הייתה ביצוע סיורי מודיעין לפני הכוחות המתקדמים. הכוח הבריטי נע מאזור חוף הנחיתה (מדרום לסיראקוזה, בדרום מזרח האי) צפונה אל מסינה. מטרת הכוח הייתה לכתר את דיוויזיות הציר לפני שיוכלו לחלץ את כוחותיהם לעבר איטליה. מבין מתנדבי היחידה לרפאלי היה יתרון – הוא ידע איטלקית מתקופת לימודיו בצ'יוויטווקיה. הלחימה בסיציליה התנהלה בחודשי הקיץ ובטמפרטורות של כ־35 מעלות, ולשוהים בשדה הקרב עם חגור מלא היו אלה תנאים קשים.
פחות מחודשיים לאחר מכן, ב־3 בספטמבר 1942, פלשו בנות הברית לאיטליה והחלו בשחרורה. הארמייה השמינית הבריטית, שבמסגרתה לחם רפאלי, עזבה את סיציליה, חצתה את מצר מסינה ונחתה בחוף קלבריה (מבצע בייטאון), במבצע שנועד להטעות את האיטלקים והגרמנים ולהסיח את דעתם מכוח הנחיתה העיקרי, שנחת ב־9 בספטמבר בסלרנו (מבצע אוואלאנש) ובכוח משני שנחת באותו לילה באזור טרנטו (מבצע סלפסטיק).
רפאלי, יחד עם חבריו ביחידת המודיעין, המשיכו לערוך סיורי מודיעין לפני הכוחות המתקדמים גם בעת הלחימה באיטליה. התקדמות הארמייה השמינית צפונה הייתה בהתחלה אטית מהמתוכנן, בגלל הגשרים הרבים שפוצצו הגרמנים במהלך נסיגתם, אבל בהמשך התקדמה הארמייה השמינית במהירות לאורך חוף הים האדריאטי, השתלטה על מישור פוֹגָ'ה עם כל שדות התעופה שלו, והתקדמה במהירות עד טרמולי, שם נאלצה לעצור, להיערכות לוגיסטית. רפאלי העיד כי הקצב המהיר של ההתקדמות, הביא לכך שאיסוף המודיעין המקדים שביצעו רפאלי וחבריו בוצע כמעט במקביל לתנועת הכוחות.
בתחילת אוקטובר הצליחו הכוחות הבריטיים והאמריקניים לבסס קו היערכות לרוחבה של איטליה. הארמייה השמינית הבריטית – זו שרפאלי לחם במסגרתה – נעצרה באזור טרמולי בצד האדריאטי של חצי־האי האיטלקי, ואילו הארמייה החמישית האמריקנית (של גנרל מארק קלארק) נעצרה על גדות נהר וולטורנו , מצפון לנפולי) בצדו המערבי של המגף האיטלקי.
משימות חילוץ בצפון איטליה.
אחרי שההתקדמות נעצרה, הועבר רפאלי למשימה העיקרית שלשמה הוקמה היחידה (MI9) שאליה התנדב – חילוץ אנשי צבא בריטים ואמריקנים מהאזור שבשליטת הגרמנים. הפעם התבצעה פעילותו בחלקה הצפוני של איטליה, שם נמצאו:
אחד ממפקדי ה־MI9 הסביר לחייליו את הרעיון שמאחורי מאמצי החילוץ: לבנות הברית הייתה אפשרות לבנות מטוסים וטנקים בקצב גדול מאפשרותן להכשיר לוחמים שיתפעלו אותם. נוצר אפוא צורך ברור להחזיר לוחמים מנוסים לשירות, ואלו שהסתובבו בצפון איטליה יכלו למלא את המחסור, או לפחות את חלקו.
התארגנות ושיטת הפעולה
אחרי התארגנות לביצוע המשימה (חלוקה לחוליות, לימוד השטח, חלוקת גזרות פעילות וכו') יצאו החוליות הראשונות לפעולה מעבר לקווים כבר במהלך אוקטובר 1943. החדירות לשטח האויב (וההיחלצות ממנו) התבצעו בדרך כלל מהים, באמצעות סירות של סייענים. רפאלי וחברו ליחידה בנימין גפנר מוזכרים גם כשניים מתוך שישה צנחנים מבני היישוב שפעלו בשירות הבריטים מעבר לקווים באיטליה (ארבעת האחרים הם אנצו סרני, יחיאל קאסאפ, אפרים דפני ויעקב שפירא; שני הראשונים נהרגו בעת ביצוע משימתם), אך לאפשרות שצנחו לא נמצאה עדות בזיכרונותיהם.
שם הצופן של הפעולה היה Rat Line (נתיב העכברוש), משום שעל הטייסים והשבויים הבריטיים היה לחמוק מעיניהם הבולשות של הגרמנים כעכברושים בלילה. המילה Line שבשם התייחסה לנתיב של מאות קילומטרים, מצפון איטליה ועד לדרומה, שאנשי היחידה היו צריכים להקים. הרעיון היה להרכיב שרשרת ארוכה של סוכנים – כמעט כולם איכרים פשוטים – כך שכאשר אחד הבריטים יימסר לידי אחד הסוכנים בצפון איטליה, יוכל האיכר להנחותו בחסות הלילה אל הסוכן הבא, שיעבירו בתורו לסוכן שלישי וכך הלאה. הטייסים והשבויים שברחו אמורים היו להיות מרוכזים במקום מסתור ליד קו החזית, ומשם הם הועברו קבוצות־קבוצות על ידי "מדריכים" (מורי דרך) דרך קו החזית.
בעת הפעילות השתמש רפאלי, כמו שאר אנשי ה־MI9, באמצעי עזר שפיתחה היחידה כדי לסייע במילוט שבויים. בין היתר היו אלה מצפנים זעירים שהוסוו בתוך כפתורים, ומפות שהודפסו על ממחטות עשויות משי. רפאלי מעיד על עצמו שבשלב ההכנה למשימות ישב "רכון על מפות מפורטות של האזור, עד שהפכו לחלק ממנו."