רפאלי גדל והתחנך בריגה. מאחר שכמעט כל חברי בית"ר בריגה – כמאה איש במספר – למדו בבית הספר היהודי המקצועי בעיר, אפשר להניח שגם רפאלי למד שם.
את שם משפחתו, רפאלי, הוא אימץ בימי מלחמת העולם השנייה, כדי להנציח את שם אביו רפאל שנספה בשואה.
עד מלחמת העולם השנייה.
החלטה שהתקבלה בראשית שנות השלושים ביוזמתו של ירמיהו הלפרן השפיעה על כל חייו הבוגרים של רפאלי. המדובר בהחלטה להקים מחלקה ימית בבית"ר, שמטרתה לקדם את ההכשרה הימית של הנוער העברי בתפוצות. בבסיס היוזמה עמדה החשיבות האסטרטגית, הכלכלית והביטחונית של שליטה בים עבור המדינה העומדת לקום בארץ ישראל.
בשני מרכזים באירופה החלה הכשרת הצעירים היהודים: בריגה שבלטביה החלו בהכשרת מלחים בעבודת ימאות מעשית ואילו בצ'יוויטווקיה שבאיטליה הוקם בית ספר ימי להכשרת קציני ים. רפאלי התחנך בשני המרכזים הללו.
הכשרה ימית בלטביה.
צעירי ריגה הוקסמו מהאפשרות לקשור את עלייתם ארצה עם רעיון פיתוח הימאות העברית והכשרתם להיות ימאים וקציני ים בצי העברי העתידי. רבים מהם היו רגילים לים מילדות, את רוב שעות היום בחופשות הקיץ הם בילו בנמל ריגה, על נהר הדאוגבה, סמוך לשפך שלו לים הבלטי. על הרציפים הארוכים הם צפו בפעילות הנמל ועקבו אחרי האוניות היוצאות והנכנסות. רפאלי, וצעירים אחרים, התנדבו לקורס הניווט הימי שנפתח בקן בית"ר בריגה. במאי 1934 קיבל רפאלי את פנקס הימאים הראשון שלו, שהוצא על ידי שלטונות נמל ריגה על שם Haims Bletelis.
בתחילת הקיץ בשנת 1935, עלה רפאלי עם ארבעה־עשר חניכים נוספים, על אוניית המפרשים "תיאודור הרצל", שנרכשה על ידי בית"ר לשמש כאוניית אימונים להכשרת המלחים העבריים בים הבלטי. אחרי כמה שבועות של היכרות עם הספינה, יצאו הצעירים להפלגה הראשונה. רב החובל, הקצין הראשון, רב המלחים ואפילו הטבח היו לטבים, אך אנשי הצוות כולם היו צעירים מתנועת בית"ר. הדגל בראש התורן היה דגל לטביה, אך בירכתיה התנוסס דגל כחול ולבן ושמו של חוזה המדינה היה רשום באותיות שחורות על דופנותיה. את עזיבת הנמל תיאר רפאלי כך:
רפאלי הפליג על ה"תיאודור הרצל" מקיץ 1935 ועד קיץ 1936, הפלגות שבמהלכן הובילה הספינה מטען בין נמלים שונים בים הבלטי כדי לממן את פעילותה.
הכשרה ימית בצ'יוויטווקיה.
ב־1936, הגיע רפאלי עם כמה מחבריו לאיטליה, כדי ללמוד בבית הספר הימי בצ'יוויטווקיה, שם נפתח קורס של בית"ר לקציני ים. הם הצטרפו למחזור השני של קורס קציני הים העבריים, שאליו הגיעו חמישים אנשי בית"ר מכל רחבי אירופה, ובכלל זה שישה מריגה. בין החניכים האחרים בקורס היו שלמה אראל, לימים מפקד חיל הים, צבי קינן, לימים ראש המודיעין הימי, סגן מפקד חיל הים ומ"מ ראש אמ"ן, ומילה ברנר (לימים מבעלי החברה הימית להובלת פרי) שהגיעו מארץ ישראל, ודוד איזנברג (דולק) שהגיע מפולין ושירת לצד רפאלי במלחמת העולם השנייה.
במהלך הלימודים, שנמשכו שנתיים, הפליגו החניכים בים התיכון על סיפון אניית הלימודים, ספינת מפרש ששמה "שרה א'". הלימודים כללו ניווט, קריאת מפות, אלחוטנות מורס וכיוצא בזה. רפאלי, שלמד במגמת מכונאות, הוצב בחדר המכונות של הספינה.
בסוף מאי 1937, כחלק ממסע האימונים שלה, הגיעה האונייה לביקור בארץ ישראל, ושהתה כשלושה שבועות בנמל חיפה, שם התקבלה בכבוד רב. זה היה ביקורו הראשון של רפאלי בארץ ישראל, ובמהלכו הוא ביקר עם שאר החניכים במקומות שונים בארץ. בהמשך הפליגה "שרה א'" עם החניכים לרודוס, לסלוניקי, למלטה ולתוניס. בכל המקומות נפגשו החניכים עם אנשי הקהילות היהודיות, שהתרגשו מהופעתם של הקדטים במדיהם הצחורים על ספינה שעליה מתנוסס דגל כחול־לבן. בהפלגה אחרת, לקורסיקה, עלתה הספינה על שרטון והושבתה למעשה. רפאלי ושאר החניכים מהמחזור שלו הועברו לצ'יוויטווקיה והמשיכו שם בלימודיהם.
עלייתו לארץ ישראל.
בשנת 1938 סיים רפאלי את הכשרתו כקצין ים בצ'יוויטווקיה, ועלה לארץ ישראל. הוא השתלב כאיש צוות על אוניית מעפילים שהתארגנה במסגרת "עליית אף על פי" של התנועה הרוויזיוניסטית. רפאלי לא ציין בשום מקום את שם האונייה שעליה הפליג ארצה, אך מבין כל האוניות שהגיעו ארצה באותה שנה במסגרת "עליית אף על פי", רק האונייה "דראגה א'" (דגל פנמה) יצאה מאיטליה, המדינה שבה שהה רפאלי באותה עת. האונייה הפליגה מנמל פיומה (כיום רייקה שבקרואטיה, אך בתקופה ההיא שלטה במקום איטליה הפשיסטית). על האונייה היו כ־170 עולים מרביתם מפולין, מצ'כוסלובקיה ומאוסטריה. במרחק של יום הפלגה מחופי הארץ, הועברו העולים לאונייה קטנה יותר בשם "ארטימיסיה", שהביאה את העולים לחוף טנטורה בתחילת אוקטובר 1938.
שנים ראשונות בארץ.
בשנת 1939, אחרי גלגולים במקומות שונים בארץ, הגיעו רפאלי וכמה אנשי-ים מתנועתו לנהריה, כדי לעסוק שם בדיג כחלק מהפעילות ל"כיבוש הים". קבוצה זו זכתה לכינוי "הפלוגה הרוויזיוניסטית" כדי להבדילה מקבוצת דייגים נוספת (מתנועת גורדוניה) שפעלה אף היא בנהריה, בהדרכתו של רב חובל גרמני (לא-יהודי) בשם גוסטב פיץ'..
קבוצתו של רפאלי קיבלה מהתנועה ספינה שאורכה כשבעה מטרים עם תורן ומפרשים ושהיה לה גם מנוע חיצון. מאחר שבנהריה לא היו מעגן או מזח נאלצו אנשי הקבוצה להעלותה לחוף אחרי כל הפלגה, דבר שהקשה על המשך הפעילות במקום. לאחר כשנה, ב־1940 עבר רפאלי לתל אביב ועסק בדיג על ספינה בבעלות פרטית בשם "זאב הים", ספינה שפעלה בים הפתוח.
מלחמת העולם השנייה.
גיוס והכשרה.
בינואר 1941 התגייס רפאלי לצבא הבריטי וקיבל את המספר האישי 23105PAL. הוא שובץ לשרת במחלקה 1 של פלוגת תפעול נמלים 1039 (Port Operating Coy 1039), שהוקמה באותה עת ושתפקידה היה להטעין ולפרוק אוניות ולשנע מטענים בתוך הנמלים. הפלוגה הוקמה משום שפועלים אזרחיים סירבו לעבוד בנמלים שבאזור החזית, ואנשי צבא תפשו את מקומם. הפלוגה הייתה חלק מחיל החפרים הבריטי ומפקדה היה סרן קארני (Capt. A. W. Carnie) מחיל ההנדסה ב. המגויסים לפלוגה היו אנשי ים, סוורים ובעלי מקצועות טכניים, שעבדו בנמל חיפה ובנמל תל אביב.
הפעילות בטוברוק.
אחרי תקופת התארגנות, הצטיידות והכשרה קצרה בארץ, הפליג רפאלי ב־12 בפברואר 1941 מנמל חיפה, יחד עם חיילי שתי מחלקות מפלוגתו, לנמל טוברוק שבלוב (הנמל נכבש מידי האיטלקים זמן קצר לפני כן). הכוח הפליג על סיפון הספינה Cingalese Prince.
כעבור יומיים, ב־14 בפברואר, בשעות הערב הגיעו רפאלי וחבריו לטוברוק, וכבר למחרת הם החלו את עבודתם בנמל. העבודה הייתה מורכבת, הן משום שאזור הנמל הותקף לא פעם מהאוויר (חלק מחבריו של רפאלי ליחידה נהרגו בתקיפות אלה), והן משום שהשטת הדוברות מהאוניות הפורקות באזור העגינה לחוף התבצעה בין אוניות פגועות שננטשו או אוניות שטובעו, אך חלקים מהן עדיין בלטו מעל פני המים באזור העגינה. יתר על כן, באזור היו פזורים גם מוקשים שהטילו הגרמנים. הציוד שנפרק מהאוניות לדוברות כלל טנקים, משאיות, כלי רכב משוריינים ואספקת מזון ותחמושת. הדוברות הושטו לחוף ושם נפרקו.
שתי המחלקות פעלו בטוברוק זמן קצר בלבד, כעשרה ימים, ובמהלך השהות בטוברוק הן פרקו תריסר אוניות אספקה. ב־24 בפברואר בשעות הערב, תחת תקיפה אווירית כבדה, הועמס ציוד העבודה שהצליחו האנשים לחלץ על אונייה פולנית, ובשעות הבוקר למחרת הפליג הכוח לנמל אלכסנדריה שבמצרים, לשם הגיע ב־26 בפברואר.
הפעילות ביוון.
אחרי שהות של כמה ימים במצרים, הפליג רפאלי עם יחידתו ליוון ב־5 במרץ 1941. מחלקות 1 ו־2 שחולצו מטוברוק הפליגו מנמל אלכסנדריה על סיפון הסיירת הקלה HMS Bonaventure, כחלק משיירה של שלוש ספינות מלחמה, שהגיעו למחרת היום לנמל פיראוס. הגעת פלוגה 1039 ליוון נועדה לסייע במבצע תגבור כוחות רחב היקף של הבריטים, שניסו לסייע ליוון במלחמתה נגד איטליה, כדי למנוע את נפילתה. במהלך המבצע – שנקרא "מבצע לוסטרה" והחל ב־7 במרץ 1941 – הועברו בדרך הים ליוון 58,000 חיילים על ציודם ואספקתם. פלוגה 1039 נועדה לסייע בפריקת הציוד הרב.
רפאלי ושאר אנשי הפלוגה שוכנו במחנה Old Kokinia, כעשרה קילומטרים מנמל פיראוס, ולא בנמל עצמו, בגלל חשש מהפצצות אוויריות. הם החלו לעבוד בנמל פיראוס כבר למחרת הגעתם, כלומר ב־7 במרץ. שיתוף הפעולה עם הסוורים היוונים התנהל ללא דופי בעיקר משום שחלק מסוורי נמלי חיפה ותל אביב שגויסו לפלוגה 1039 היו סלוניקאים במקורם. לאחר כמה ימים התברר שבגלל מספר הספינות המגיעות והיקף האספקה שצריך לפרוק רצוי להעביר חלק מהאספקה לנמלים אחרים. מפקד הפלוגה, סרן קארני, החליט להעביר את מחלקה 1, שבה שירת רפאלי, לנמל וולוס, יותר משלוש מאות קילומטרים מצפון לאתונה.
פעילות הפריקה בנמל וולוס התנהלה כסדרה עד ל־6 באפריל, המועד שבו החלה הפלישה הגרמנית ליוון. חיל האוויר הגרמני, שהשיג שליטה מלאה בשמי יוון, תקף יחידות צבא ויעדים אסטרטגיים ובהם נמלים. נמל וולוס הופצץ כמה פעמים במהלך אותו יום ויצא מכלל שימוש. בעקבות זאת, הועברו רפאלי וחבריו למחלקה לנמל חלקיס (שנמצא על האי אוויה בין אתונה לוולוס) לשם הוחלט להפנות את אוניות האספקה. מחלקתו של רפאלי הגיע לחלקיס ב־16 באפריל, והצטרפה שם למחלקה אחרת של הפלוגה שהגיעה מפיראוס יום קודם לכן. פעולות הפריקה בחלקיס נמשכו למרות התקיפות האוויריות המתעצמות, שגרמו לניתוק הקשר עם המפקדה. העבודות התנהלו בעיקר בשעות הלילה, שבהן התקיפות היו מועטות יותר.
הנסיגה, השבי והבריחה.