בתקופת המנדט הבריטי פעלה חברת הרכבת המנדטורית לפיתוח רשת הרכבות בפלשתינה-א"י - המסילות הצרות שודרגו מרוחב צר של 105 ס"מ לרוחב התקני של 143.5 ס"מ (מלוד לירושלים, ליפו ולטול כרם) או נסגרו (המסילות לבאר שבע ומטול כרם לשכם ולעפולה) ונשארה רק מסילת העמק הצרה. כמו כן נוספו מסילת לוד - אשקלון, מסילת החוף בין חדרה לחיפה וכן מספר שלוחות קצרות, בהן שלוחת רכבת מתחנת הרכבת ראש העין דרום לפתח תקווה שנבנתה בשנת 1921 על ידי המשרד לעבודות ציבוריות לשם הובלת פרי הדר מפרדסי האזור לנמלי יפו (דרך לוד) וחיפה (דרך חדרה). הרכבת המנדטורית הגיעה לשיא התפתחותה בסוף שנות ה-20, עת יצאו רכבות מתחנת הרכבת חיפה מזרח לשלוש יבשות - למצרים שבאפריקה, לסוריה שבאסיה ולאיסטנבול שבאירופה. לאחר המשבר הכלכלי של 1929 והשפל הגדול שבא לאחריו, התקשתה הרכבת לחזור לימי הזוהר (בייחוד על רקע שיפור הכבישים והשתכללות המכוניות והאוטובוסים). המרד הערבי הגדול בשנות ה-30 כלל פגיעות חוזרות ונשנות ברכבות ובמסילות והביא לירידה נוספת במספר הנוסעים ולצמצום השירות. בשנת 1930 נחנכה תחנת הרכבת עכו, ובשנת 1937 נחנכה תחנת הרכבת חיפה מרכז ובשנת 1942 השלטונות הבריטים חונכים את כל מסילת הרכבת חיפה - ביירות - טריפולי. ביולי 1945 נחנכה תחנת הרכבת נהריה ובשנת 1946 נותקה רשת המסילות של פלשתינה-א"י מהמדינות השכנות - מצרים ולבנון הלאימו את המסילות שהיו בשטחן וגשר אל חמה שחיבר את רכבת העמק לסוריה וירדן פוצץ על ידי הפלמ"ח בליל הגשרים. במאי 1948 הוקמה חברת רכבת ישראל על מנת לרשת מהרכבת המנדטורית את האחריות על התחבורה המסילתית בארץ.
מקום המדינה.
זמן קצר לאחר הקמת המדינה החלה רכבת ישראל בפעילות רכבות נוסעים באופן מוגבל. ב-20 ביוני 1948 נפתח מחדש לתנועה קו הרכבת הפרברית בין חיפה לקריית מוצקין. אף מסילת הרכבת דרומה, עד לחדרה נפתחה לתנועה כבר בשנה זו, אולם שמשה בעיקר לרכבות משא.
ב-4 בינואר 1949 נפתח שירות נוסעים סדיר בין חיפה לחדרה. מחדרה הופעל קישור תחבורתי לתל אביב באמצעות קו אוטובוס שהותאם לפעילות הרכבת. בפתיחה החגיגית של הקו נכח שר התחבורה מר דוד רמז. בתחילה היו שתי רכבות יומיות בכל כיוון. באותו היום החלה רכבת ישראל אף בהפעלת חמש רכבות נוסעים יומיות עד לעכו. בחודש אוגוסט 1949 חודש קו הרכבת בין חיפה לתל אביב, זאת לאחר שנסלל מעקף לקטע המסילה הישן שעבר דרך טולכרם. התוואי החדש, מדרום לחדרה, עבר ממש על הקו הירוק. בבוקר ה-7 באוגוסט 1949 חודש קו הרכבת מתל אביב לירושלים, זאת לאחר שהירדנים נסוגו מקטע המסילה החולף ליד הכפר בתיר. מתחנת תל אביב דרום יצאה בשעה 8:00 בבוקר רכבת חגיגית ומקושטת לעבר הבירה, על הרכבת נסעו בין השאר, דוד בן-גוריון ודוד רמז. המונים עמדו לאורך המסילה והריעו לרכבת. אולם, שירות רכבות נוסעים סדירות לירושלים חודש רק בחודש מרץ 1950. כעבור מספר חודשים חודשה גם פעילות הרכבת בקו חיפה - עכו - נהריה, שהושבתה לאחר פיצוץ גשר נחל נעמן בראשית מלחמת העצמאות.
ב-15 באפריל 1953 צוינה בטקס חגיגי השלמת בניית מסילת החוף, לאורך 47 ק"מ, בין צומת רמז, סמוך לפרדס חנה ותחנת הרכבת תל אביב צפון, אשר לימים נקראה תחנת הרכבת בני ברק. המסילה נבנתה בסיוע אמריקאי וקיצרה באופן משמעותי את זמן הנסיעה בין תל אביב לחיפה. ב-4 בנובמבר 1954 הושלמה הארכת המסילה כ-4 ק"מ עד לתחנת הרכבת תל אביב מרכז וזו נפתחה באותו היום לתנועת נוסעים. תחנה זו הייתה ממוקמת בשוליה הצפוניים של העיר ומרוחקת ממרכז העיר תל אביב.
בשנותיה הראשונות התמודדה רכבת ישראל עם קשיים רבים בהפעלתה. הציוד הנייד ברכבת היה ברובו ציוד שנותר מחברת Palestine Railways המנדטורית אשר פעלה בארץ ישראל עד קום המדינה. רבים מעובדיה של החברה המנדטורית היו ערבים, ולא היו עוד זמינים לעבודה לאחר קום המדינה, עובדה שהשפיע באופן ישיר על מצב התחזוקה של קטרי הקיטור בשירות רכבת ישראל. בתחילת שנות ה-50 התקבלה ברכבת ישראל החלטה להחליף את צי קטרי הקיטור בשרות הרכבת בקטרי דיזל אמינים יותר וקלים יותר לתחזוקה. בשנת 1952 הגיעו לרכבת ישראל שלושה קטרי דיזל ראשונים (שמוספרו 101–103) מתוצרת חברת Societe Anglo-Franco-Belge. קטרים אלה צוידו במנועים אמריקאים מתוצרת ג'נרל מוטורס ושרתו ברכבת ישראל משך עשרות שנים. החל משנת 1954 החלה רכבת ישראל לרכוש קטרי דיזל ישירות מחברת ג'נרל מוטורס. הקטרים, מדגם G12, היו בעלי מנוע דיזל בעל 1425 כוחות סוס. עד לשנת 1966 נרכשו 23 קטרים מדגם זה, חלקם נמצאים בשרות רכבת ישראל אף בשנת 2007. בין השנים 1956–1958 נרכשו 18 קטרי דיזל לצורך עבודות עיתוק מן החברה הגרמנית אסלינגן (מוספרו 211–228) וכן שלושה קטרי עיתוק קטנים יותר מתוצרת דויטש.
החל משנת 1956 קיבלה רכבת ישראל קרונועים מתוצרת אסלינגן, במסגרת הסכם השילומים עם גרמניה. קרונועים אלה נטו להתקלקל לעיתים קרובות והוסבו לקרונות נוסעים רגילים, גרורי קטר. חלקם שמשו ברכבת ישראל אף בשנים הראשונות של המאה ה-21.
ב-29 במרץ 1956 נפתחה לתנועה מסילת הרכבת לבאר שבע. בשנות הפעלתה הראשונות של המסילה, פעלו עליה רוב קטרי הקיטור שעדיין נותרו בשירות רכבת ישראל. שנתיים אחר כך יצא קטר הקיטור הפעיל האחרון בישראל שמספרו 70414, צפונה מתחנת באר שבע לחיפה, אירוע שהונצח בשיר "הקטר" של אריק לביא ובסרט דוקומנטרי שכתב וביים חיים חפר.
במלחמת סיני נפל שלל רכבתי רב לידי ישראל. במדבר סיני נתפסו שישה קטרים מצרים וקרונות רבים. חלקם שולבו ברכבת ישראל.
בחודש נובמבר 1961 נפתח קטע מסילה קצר של 7 ק"מ מצומת פלשת לנמל אשדוד. מסוף המטענים בנמל אשדוד משמש עד היום כתחנת מוצא לרבות מרכבות המשא ברכבת ישראל. ב-26 בדצמבר 1963 אירעה התנגשות רכבות נוסעים הבולטת ביותר בשנותיה הראשונות של רכבת ישראל, כאשר שתי רכבות מחיפה ומתל אביב התנגשו חזיתית בבית יהושע. איש לא נהרג בתאונה ומתוך 55 הפצועים, 5 נזקקו לאשפוז בבתי חולים. בתאונה נהרסו שני קטרי דיזל (105 ו-118) ולאור המחסור הרב בקטרים, נאלצה רכבת ישראל להפסיק את השרות בין חיפה לירושלים עד לחודש מרץ 1964, כאשר הגיעו קטרי דיזל נוספים מארצות הברית.
בחודש ספטמבר 1965 נפתחה המסילה בין באר שבע ודימונה. תחילה נעו על מסילה זו רכבות משא בלבד ובשנת 1967 נפתח גם קו נוסעים בין שני היישובים, אך קו הנוסעים לא היה להצלחה ונסגר בשנת 1980 ולאחר 25 שנה שב לפעילות לאחר שדרוג המסילה. היום, הוא הקו הסדיר הכי שומם בארץ - ארבע רכבות בלבד, לכל כיוון, ביום.
בעקבות מלחמת ששת הימים נהנתה רכבת ישראל פעם נוספת מציוד מסילתי נייד שנפל שלל בידי ישראל. ב-20 ביוני 1967, לאחר שחוברה מחדש המסילה בין סיני לישראל, יצאה מאל עריש אל לוד רכבת משא שהורכבה מקטרים וקרונות שנפלו שלל בידי צה"ל במהלך המלחמה. בין השאר נפלו בידי ישראל 4 קטרי דיזל של הרכבת המצרית מדגם G12, דומים לאלה שהופעלו כבר ברכבת ישראל ואלה שולבו במהרה בשרות הרכבת (ומוספרו 127–130). עוד נפלו שלל שלושה קטרים חזקים יותר מדגם G16 (אשר זכו לכינוי "המצרים") וקטר קטן יותר מדגם G8, אף אלה שולבו ברכבת ישראל. בשנת 1968, זמן קצר לאחר מלחמת ששת הימים, הפסיקה רכבת ישראל את תנועת רכבות הנוסעים במסילה המזרחית בין חדרה לראש העין, אשר נעה לאורך תוואי הקו הירוק, אף שעתה חלפה סכנת החבלות בקו זה, עם כיבוש הגדה המערבית. החל מקיץ 1968 עברה כל תנועת רכבות הנוסעים מחיפה דרומה למסילת החוף.
במלחמת יום כיפור נטלה רכבת ישראל חלק חשוב בהעברת ציוד וכוחות לחצי האי סיני וממנו. המלחמה הדגישה את חשיבותה של הרכבת ככלי תחבורה. חיים הרצוג, לימים נשיא המדינה, עמד בספרו "מלחמת יום הדין" על המשגה שביצעה ישראל כאשר בעת מלחמת ההתשה פורקה מסילת הרכבת מאל עריש דרומה לצורך חיזוק ביצורי קו בר-לב.
בשנת 1970 נסגרה התחנה ששכנה בסמוך לבית הדר באזור שהיה בזמנו מרכזה של תל אביב. במקומה הוקמה תחנת הרכבת תל אביב דרום שמוקמה בקצה העיר ליד בית הספר הולץ. מהלך זה גרם לירדה משמעותית בכמות הנוסעים ברכבת וסימל את תחילת דעיכתה של הרכבת בארץ, תקופה שנמשכה כמעט דור שלם עד להתחדשות הרכבת בשנות התשעים.
בשנת 1975 נחנכה תחנת הנוסעים חיפה-בת גלים.
ב-17 בנובמבר 1982 נפתחה לתנועה מסילת חלץ המאפשרת תנועת רכבות מקריית גת לאשקלון, ומשם לנמל אשדוד. סלילת מסילה זו הייתה חיונית כדי לקצר את נסיעת רכבות המשא המעבירות פוספטים ממכרות הנגב לנמל אשדוד. זאת, לאחר שעוד בשנת 1970 הוארכה מסילת הרכבת בנגב עד לאורון ובשנת 1977 נסללה המסילה להר צין. סלילת המסילה להר צין, בליבו של הנגב, עוררה תוכניות ותקוות לסלילת מסילה שתגיע עד לעיר אילת. בשנת 1981 פורקה המסילה בין רפיח לאל עריש במצרים, כך שנותק הקשר המסילתי הבינלאומי האחרון שהיה פעיל בארץ ישראל.
בשנת 1988 הוחלט לאחד את רכבת ישראל עם רשות הנמלים לרשות אחת שתקרא- "רשות הנמלים והרכבות" ובשנת 2003 הרשות פורקה לשתי רשויות נפרדות.
בשנת 1992, הסדרה הראשונה של הקרונועים IC3 החלו לפעול, ומאוחר יותר בשנת 1995 נרכשו עוד קרונועים הכוללים את המערכים 11–41.
נקודת המפנה.