הזרוע הוקמה ב-17 במרץ 1948, ופעלה בשם השירות הימי. הארגון איגד את פעולות ההעפלה ואת הקמת כוח הלחימה הימי של ההתיישבות היהודית. שנה לאחר מכן, במרץ 1949, השם שונה לשמה דאז "חיל הים" והוחלט על המבנה המוכר לנו כיום. חיל הים היה שותף פעיל בכל מלחמות ישראל. עם מבצעי החיל נמנים: הטבעת "האמיר פארוק", שביית ה"איברהים אל אוול", פעולת פורט סעיד, קרב רומני, הפשיטה על האי גרין, מבצע אסקורט, מבצע אביב נעורים, קרב לטקיה והשמדת ספינות טילים מצריות באזור פורט סעיד במלחמת יום הכיפורים, תקיפת נמל ע'רדקה, הנחיתה בחוף אל-אוואלי במלחמת לבנון הראשונה (1982), לכידת ספינות שהובילו נשק לארגוני טרור ועוד רבים אחרים. כמו כן עוסק חיל הים במשימות של ביטחון שוטף לאורך חופי ישראל. החיל ספג אבדות במספר מקרים שהתפרסמו: טיבוע המשחתת אח"י אילת בשנת 1967, טביעת הצוללת אח"י דקר בשנת 1968, אסון השייטת ב-1997 והפגיעה בסטי"ל אח"י חנית מטיל של חזבאללה במהלך מלחמת לבנון השנייה. במלחמת ששת הימים פגעו בשוגג טרפדות ומטוסים של צה"ל באוניית ביון אמריקאית, "ליברטי", ששהתה בקרבת חוף סיני ונחשדה כאונייה מצרית. בתקרית נגרמו אבדות רבות לאנשי צי ארצות הברית.