עם פרוץ מלחמת העולם השנייה והתקדמות גייסותיו של ארווין רומל במדבר המערבי לכיוון ארץ ישראל בשנת 1941, החלה הסוכנות היהודית במגעים עם שלטונות המנדט הבריטי כדי לגייס את בני היישוב לצבא הבריטי. בשנת 1941 הצליחה המחלקה המדינית של הסוכנות היהודית לשכנע את הצי הבריטי לגייס ארץ ישראלים לשרותיו. כ-1,100 מתנדבים, מתוכם 12 קצינים שמונו על ידי הסוכנות, גויסו לצי הבריטי. מתנדבי היישוב לצי המלכותי הבריטי ומתנדבי היישוב לצי המסחרי המגויס היוו שדרה טכנית חשובה בהקמת חיל הים הישראלי. במקביל לגיוס לצי, הוכשרו על ידי המודיעין הצבאי הבריטי כ-30 חברי "ההגנה", בהם כמה ימאים שעסקו קודם לכן כמלווי אוניות המעפילים, לפעילות חבלה מאחורי קווי גייסותיו של רומל בצפון אפריקה וכוחות וישי הצרפתיים בסוריה ולבנון. במסגרת זו אבדו במאי 1941 בפעולה בלבנון בספינה "ארי הים" כ"ג יורדי הסירה ורס"ן אנטוני פלמר הבריטי.
בסיוע "המוסד לעלייה ב" הקים דוידקה נמרי סגן מפקד הפלמ"ח בתחילת ינואר 1943 יחידה ימית, "המחלקה הימית", שנועדה לחדש את מפעל ההעפלה לכשיווצרו התנאים לכך. ב-1945 חודשה ההעפלה והמחלקה גדלה והפכה לפלוגה ימית (פלי"ם). הכשרת אנשי הפלי"ם כללה קורס מפקדי סירות שנועד להורדת המעפילים בחופי הארץ (באמצעות שלוש הסירות 'דב', 'תרצה' ו'רבקה', על שם בני משפחת הוז שנהרגו בתאונת דרכים) ו'קורס חובלים' שנועד להכשיר את מלווי אוניות מעפילים.
בתום מלחמת העולם חודשה עלייה ב' בזרם הולך וגדל, ובתגובה לכך הקימו הבריטים שייטת מיוחדת "הסיירת הפלשתינאית" שנועדה, בסיוע מטוסי סיור ותחנות מכ"ם, לסכל את עליית המעפילים ארצה. בתגובה לכך, הוקמה על ידי הפלי"ם בנובמבר 1945 חוליית חבלה ימית לצורך חבלה בכלי שיט בריטיים שהופעלו לסיכול מפעל ההעפלה. חוליה זו היוותה גרעין להקמת שייטת 13 בעת הקמת חיל הים.
ב-1946 הוקמה על ידי הסוכנות היהודית וההסתדרות חברת "צים" שהוכרזה לימים כחברת הספנות הלאומית. בצדה המשיכה לפעול 'חברה לשירות ימי עתיד', שהוקמה בשנת 1934, וחברת הספנות של הקיבוץ המאוחד וכן חברת מאיר דיזנגוף ושות'.
מלחמת העצמאות.
בשלהי 1947 הוקם 'שירות ימי' שהתבסס על:
מעצם רבגוניותו של כוח האדם בשנת ההקמה והרקע השונה ממנו הגיע נוצרו לא מעט חיכוכים וחילוקי דעות בעת הקמת חיל הים שנבעו בעיקרם מהבדלי גישות, הגישה של הצי המלחמתי המסודר והמאורגן כנגד הגישה הלא סדורה שבאה מן הפלי"ם. מאבקים אלו נבעו מן הרצון להשפיע ולתפוס עמדות כוח.
מר גרשון ז'ק מונה על ידי דוד בן-גוריון להיות ראש השירות הימי. ולאחר החלטת החלוקה באו"ם הוציא פקודת יום כ"ט בנובמבר המהווה את ההכרזה הראשונה על קיום הכוח הימי העברי.
מחשבות ראשונות על בניית כוח ימי סדיר עלו מסוף 1947 והצעות מסודרות (כולל מטרות, רכש ומבנה) החלו לעלות בראשית 1948. בתוכנית מ-7 בינואר 1948 של קומנדר מילר, לשעבר קצין בצי הבריטי שניהל את בית הספר הימי שליד הטכניון, הצי יתבסס על מספר סירות טורפדו ומעט משחתות ומטרתו העיקרית שמירת נתיבי ים פתוחים. ב-11 בינואר 1948 הוכנה על סמך תוכנית מילר תוכנית מרחיבה יותר בדרישות הרכש על ידי יושב ראש מחלקת הים של הסוכנות בר כוכבא מאירוביץ. בפברואר הכין זאב הים, איש ארגון מצי-הסוחר, תוכנית שנתקבלה על דעת בן-גוריון, וזה הורה על ביצוע התוכנית וזאב הים נשלח לאיטליה לבדוק אפשרויות רכש בהתאם. בנוסף הגיעו משלחות רכש ימי גם לארצות הברית. אולם בשל היעדר ניסיון מקצועי וטכני חלק מן הרכש היה של כלי שיט ואמצעים שלא ניתן היה להשתמש בהם ולהשמישם.
בהגדרת תפקידי חיל הים כתב יגאל ידין:
התוכנית שהוצעה בהמשך התבססה על הרחבת הפלי"ם. תוך כדי הכנת התוכניות נעזר בן-גוריון באש לינקולן (Ashe Lincoln), קצין יהודי-בריטי במלחמת העולם השנייה, שהציע לרכוש משחתת, קורבטות, ספינות תותחים, סירות משמר וסירות טורפדו. בהמשך ניתנו הנחיות ליצירת קשר עם יועצים ימיים בארצות הברית, בעיקר עם פול שולמן (Paul N. Shulman), בעניין הכלים הדרושים.
הקמתו של חיל הים לא הייתה מסודרת ומאורגנת והתאפיינה בחילוקי דעות שנבעו בעיקרם מהבדלי השקפות בין יוצאי הצי המלחמתי המקצועי, כצי הבריטי והצי האמריקאי לבין יוצאי הפלי"ם שהיו חסרי הכשרה ימית מקצועית מסודרת כבצי מלחמתי, על כך מתנדב המח"ל מהצי המלכותי קומנדר אלן ברק אף אמר: "לא ניתן לעשות ימאי מקאובוי". לכן בהקמת חיל הים בראשיתו הייתה דרישה של יוצאי הפלי"ם שלא תהיה הפרדה בין קצינים ומלחים וכן לא יהיו סימני דרגה. באוניות חיל הים היה מצב של פיקוד לא ברור שהיה המשך למסורת הפיקוד הימי באוניות עלייה ב'. בכל אונייה היה מפקד ימי שהיה בדרך כלל רב חובל מוסמך שעל פי רוב הגיע מן הצי המסחרי. ופיקוד מבצעי של איש פלי"ם אשר חסר את ההכשרה הימית. חוסר ההפרדה בין קצינים ודרוגים והמצב העמום של הפיקוד הכפול וטשטוש ההירכיה הפיקודית שאף הייתה נהוגה בצי המסחרי גרר חיכוכים והתפטרויות של רבי חובלים ומעברם לצי המסחרי. בנוסף הפיקוד הכפול יצר אווירה של קצין מקצועי כנגד קצין שהוא קומיסר מפלגתי. הבעיה המשותפת הן לפיקוד הימי והן לפיקוד המבצעי הייתה ששניהם לא היו בעלי הכישורים בהובלת ספינה לקרב.
במהלך קיץ 1948 הזמין בן-גוריון את מרכוס יוסף זיו, קפטן (אל"ם) בצי המלכותי הבריטי במהלך מלחמת העולם השנייה, לבדוק את מבנה ותפקוד החיל. בן-גוריון לא היה שקט, וכדרכו ביקש ייעוץ מקצועי חיצוני. זיו ביקר בבסיסי החיל וראין 39 מקציני החיל ומתנדבי מח"ל. זיו מתייחס בדו"ח למבנה הפיקוד של החיל. הוא מציין כי החיל לא תפס אותו הזמן מקום מרכזי בקרבות הצבא, לא רק בגלל מיעוט הכלים והידע, אלא גם עקב חוסר הניסיון של מפקדיו. זיו מציין כי הפיקוד העליון של החיל מאויש בעיקר על ידי אנשים צעירים, שניסיונם מגיע בעיקר מפעילות עלייה ב' (ובעיקר אנשי הפלי"ם). אמנם הוא מציין את נחישותם, דבקותם במטרה והלהט להצליח, אולם ניסיונם מוגבל לצורכי העפלה או מבצעי פלי"ם, ואין זה מספק כלל לבנין צי מלחמתי. הוא מציין כי אין אף תפקיד פיקודי במטה המאויש על ידי אנשים בעלי ניסיון פיקודי על כלי שיט מסחרי או מלחמתי. חלוקת תפקידים זו נובעת מההנחה כי מי שנתן מזמנו למען משימות לאומיות (פלי"ם וההעפלה) הוא הראוי לפיקוד מבחינת תכונותיו ודבקותו הלאומית, יותר מאנשי צי הסוחר שרכשו ניסיונם למטרות רווח פרטי. כלומר לא היה כאן שיקול מקצועי ימי, ולכן נפגעה גם הסינתזה הראויה בין כל הכוחות האפשריים בישראל. ההערה החריפה ביותר של הדו"ח מתייחסת לכך, שעל אף שיעודו ומבנהו של החיל נקבעו זה מכבר עדיין לא נכתבה תוכנית גיוס וחימוש אופרטיבית המותאמת למבנה זה. לכן אין רכש אופרטיבי, ולכן גם הגיוס מחוץ לישראל אינו מתוכנן ואינו מתואם. הדו"ח מציג ממצאים קשים. תמציתו מתייחסת לכך שבבנין החיל מושקעים הרבה רצון טוב, מרץ ומאמץ – אולם עקב חוסר הניסיון אין עדיין תוצאות ראויות. ללא שילוב מידי של מומחים מחוץ לישראל לענייני תכנון, רכש, תיאום עם גופים שונים, קישור למתנדבי מח"ל וכו' – חיל הים לא יצליח להתרומם.
בעקבות מסקנות הבדיקה, שונה מבנה החיל ובאוקטובר נערכה ההפרדה בין הפיקוד המקצועי לבין המנהל האדמיניסטרטיבי בכפיפות למשרד הביטחון. פול שולמן שהוביל את הפן המקצועי ענה על מבנה מוצע זה.
בעין מקצועית – ימית, אין ספק כי הדו"ח עולה על הליקויים הנובעים עקב חוסר הניסיון והידע המתאימים. אולם יישום מסקנות אלו לא מנע את החיכוכים בין יוצאי הפלי"ם ו'המוסד' לבין אנשי הציים הזרים וצי הסוחר. מאחר שהדגש באיוש הפיקוד ניתן לתכונות אחרות: אותן תכונות שיוחסו לפלמ"חניק: דבקות במשימה, להט, יוזמה וכו' ואשר בלעדיהן לא ניתן לנצח בקרב, בעיקר בקרב בו עמדת הפתיחה שלך נחותה (וכזו הייתה עמדת הפתיחה של החיל הצעיר חסר הכלים, הניסיון וכ"א).
בזמן הקמת השירות הימי לא הוגדר תפקיד של מפקד חיל הים וב־17 במרץ 1948 הוקם השירות הימי, בראשותו של גרשון זק שהיה מינוי פוליטי ללא רקע ימי וכפוף לשר הביטחון. היה זה שלב ביניים בדרך להקמת חיל הים הישראלי הפועל במסגרת צה"ל. במאי 1948 עלה לארץ פול שולמן, ובהמשך, באוקטובר, הפך למעשה למפקד המבצעי הימי ללא תואר מפקד חיל הים אלא נשא תפקיד של ראש המטה, ובכפוף לרמטכ"ל. מינויו של שולמן עורר התנגדות רבה בקרב יוצאי הפלי"ם שנבעה בעיקרה מעצם היותו לא ארץ ישראלי, בשל כך לא היה שיתוף פעולה ואף התנגדות לעצם המנוי מטעמים בלתי מקצועיים ויותר פוליטיים.
עם התמסדותו של חיל הים כזרוע ימית החלה חלוקת דרגות ותפקידים.
בתקופת מלחמת העצמאות לרשות החיל לא עמדו כל כלי שיט צבאיים ייעודיים, ולכן נאלצו להשתמש באוניות מעפילים שהוסבו לספינות מלחמתיות. מספר אוניות, חלקן בעלות עבר כספינות צבאיות, נמצאו בנמל חיפה לאחר שהבריטים, שהחרימו אותן, הותירו אותן במקום לאחר עזיבתם עוגנות בשובר הגלים. צי אוניות זה היה ידוע בשמו כצי הצללים. תהליך ההסבה של אוניות אלו, שהחל באפריל 1948 נעשה בחשאי ובמסווה של חברת העוגן, שכן הנמל נותר בשליטה בריטית עד סוף חודש יוני. חימוש הספינות, שכלל כמה תותחים ומקלעים וכן תותחי דמה נעשה במעגן תל אביב.
לאחר הכרזת העצמאות "ירש" חיל הים בנמל חיפה 3 ספינות משמר מהבריטים והן הוכנסו לשירות פעיל במהלך יוני 1948. בנוסף לרכש מאירופה הצליחו אנשי הרכש להבריח ספינת סיור P.C מארצות הברית ("נגה") ו-2 נחתות חי"ר.
צי המלחמה הישראלי במלחמת העצמאות כלל את האוניות האלה: