בשנות ה-50, החלה רכבת ישראל להפעיל בקו קטרי דיזל שהחליפו את קטרי הקיטור. בשנת 1959 עברה המסילה העולה לירושלים שיפוץ מקיף, אך המסילה לא הוכפלה ושירות הרכבות בה היה מצומצם (עד שלוש או ארבע רכבות ביום לכל כיוון). הקצה המערבי של המסילה השתנה עם השנים: תחנת הרכבת יפו נזנחה ב-1948 ותחנת הקצה הייתה מ-1949 תחנת הרכבת תל אביב דרום במיקומה הישן ליד רחוב יהודה הלוי.
בדצמבר 1969, החליט עזר ויצמן, שמונה במסגרת ממשלת אחדות לאומית לשר התחבורה, על סגירת הקו עקב חוסר כדאיות כלכלית, מפני שמספר הנוסעים בקו לא התקרב לעלות הפעלתו. אך לאחר 8 חודשים פרשה פרשה גח"ל מן הממשלה. שמעון פרס, שהחליף אותו כשר התחבורה, החליט להמשיך להפעיל את הקו ולהתחיל בתכנון קו רכבת מהיר לירושלים.
ב-1970 הועתקה התחנה אל מחוץ לעיר, לתחנת הרכבת תל אביב דרום שנחנכה ב-26 בנובמבר 1970. מבנה התחנה הישן נהרס, כמו גם המסילה לאורך רחוב הרכבת (לאחר סלילת כביש 1, תחנת תל אביב דרום ושארית המסילה חוברו במנהרה קצרה למסילת איילון).
בשנת 1971, צנח מספר הנוסעים בקו ב-40% תוך שנה, בעקבות סגירת תחנת הרכבת בית הדר במרכז תל אביב והעברת תחנת הקצה לתחנת הרכבת תל אביב דרום, כמו כן נשכרו חברות הנדסה בינלאומיות לתכנן קו רכבת חדש ממרכז תל אביב למרכז ירושלים. "חברת הרכבות הלאומית של בריטניה" הציעה לישראל לרכוש רכבת דיזל מהירה, מדגם , שהיה אז בפיתוח (והיה דגם רכבת הדיזל המהיר ביותר שהוכנס לשימוש מעולם). התוכנית לא יצא לפועל מאחר שניתנה עדיפות תקציבית לפיתוח רכבת תחתית בתל אביב באותה עת.
בשנת 1976, העלה שר התחבורה, גד יעקבי, רעיון למסילה וכביש מהיר חדש (תוכנית כביש 45) שיחברו את ירושלים דרך מודיעין ומשם דרך גבעון ועד לצפון ירושלים. אך התוכנית לא הגיעה לכדי מימוש.
בשנות ה-80, השלמת סלילתו של כביש 1, גרם להפחתת הכדאיות של השימוש במסילת הברזל, שאורכה ומשך הנסיעה בה היו ארוכים יותר לעומת נסיעה באוטובוס. במשך השנים הידרדר מצב המסילה וקצב הנסיעה בה הואט מאוד (במקומות מסוימים לאורך המסילה הוגבלה המהירות ל-25 קמ"ש). כמות הנוסעים בקו הלכה ופחתה, עד שבשנות ה-90 הופחת השימוש במסילה לרכבת אחת ביום לכל כיוון.
במרץ-אפריל 1998 רכבת ישראל ערכה ניסוי שנועד לבדוק את התאמת רכבות רוכנות ("טילטינג") לתשתית המסילתית בישראל ואת הקיצור בזמן הנסיעה שהן יכולים להביא. נסיעות מבחן בוצעו על ידי רכבת רוכנת, מ (היום בומברדיה) שהושכרה מחברת הרכבת הלאומית של גרמניה למשך חודש.
מצב המסילה הורע מאוד וכמעט מדי שבוע אירע בה שימוט שסיכן מאוד את ציבור הנוסעים ופגע ברכבות. ב-14 ביולי 1998, החליט עמוס עוזני, מנכ"ל רכבת ישראל, על סגירת הקו לירושלים והפסקת השימוש במסילת שורק (קטע המסילה שבין נען לירושלים). כעבור חודש, ב-14 באוגוסט 1998, עזבה הרכבת האחרונה את תחנת הרכבת ירושלים. בגלל הפחתת השימוש במסילה לאורך השנים, סגירת הקו לא השפיעה באופן משמעותי על התחבורה לירושלים או על מערכת המסילות בישראל.
שלוחה למפעל מלט הר טוב.
בשנות ה־50 וה־60 הייתה פעילה שלוחת מסילה תעשייתית למפעל מלט הר טוב. היא הייתה מתפצלת מהקו הראשי באזור תחנת הרכבת בית שמש.
ההחלטה על חידוש הקו.
בעקבות הניתוק המסילתי בין שתי הערים הגדולות בישראל התפתחה ציפייה שבמהרה יימצא תקציב לחיבורן מחדש. בפנייה אל אריאל שרון, שר התשתיות הלאומיות, ביקש מנכ"ל רכבת ישראל עמוס עוזני להקציב את הכספים הדרושים לשדרוג הקו לירושלים. שרון העדיף שלא להיענות לבקשה (הוא העדיף לממן את פרויקט הכפלת מסילת הדרום בין צומת נען לבאר שבע ולהקים מהמסילה שלוחה לתחנה חדשה במרכז העיר).
בינתיים נסקרו תוכניות שונות לחידוש הקשר המסילתי בין ירושלים ותל אביב. החלופות העיקריות שנדונו:
עיריית ירושלים תמכה בחלופת הביניים G1 בשל כל יתרונותיה היחסיים. ברכבת ישראל העדיפו לשלב את היתרונות היחסיים של חלופה S, שתחזיר את ירושלים במהירות המרבית למפת הרכבות הארצית, יחד עם חלופה A1, שתספק את הפתרון התחבורתי המיטבי בראייה ארוכת-טווח.
ב-13 ביוני 2001 הכריע אפרים סנה, שר התחבורה, בשיתוף עם ראש הממשלה אריאל שרון, לטובת עמדתה של רכבת ישראל והורה להתחיל בתכנון וביצוע חלופות S ו-A1. הכוונה הייתה שהקו הישן יחדש את פעולתו בתוך שנתיים, בעלות של כ-340 מיליון שקל.
בתחילת המאה ה-21, במקביל לתכנון וביצוע קו הרכבת המהיר לירושלים, החל שיפוץ הקו הקיים לפי חלופה S, שהוערך באפריל 2003 בכ-420 מיליון ש"ח. השיפוץ כלל את חידוש המסילה הבודדת בקו בשני מקטעים. במקטע הראשון (22 קילומטרים, בין צומת נען לבית שמש) בוצע יישור של תוואי השטח, שופצו גשרים, הוקמו הפרדות מפלסיות במקום מפגשי כביש-מסילה והוחזרה לשימוש תחנת הרכבת נחל שורק כתחנה תפעולית. במקטע השני (36 קילומטרים בין בית שמש לירושלים) חודשה תחנת הרכבת בית שמש, והוחזרו לשימוש תחנות הרכבת ההיסטוריות בבר גיורא, בבתיר (כתחנות תפעוליות בהם שתי מסילות למפגשי רכבת) ובירושלים בנוסף הוקמו שתי תחנות חדשות בדרום העיר (בשכונת מלחה וליד גן החיות התנ"כי).
כשלים בביצוע הפרויקט.
במאי 2005, פרסם מבקר המדינה דו"ח שבחן את הפרויקט ומצא כי חידוש קו הרכבת לירושלים התגלה כפרויקט רצוף טעויות תכנוניות וכשלים ביצועיים. לאחר חידוש הקו התברר שהכדאיות הכלכלית שלו אינה גבוהה ושהשימוש בו מועט. כל זאת, על רקע העובדה שהפרויקט תוכנן מלכתחילה כפתרון תחבורתי לטווח זמן קצר כשבמקביל הולך נסלל קו הרכבת המהיר לירושלים.
במהלך עבודות חידוש הקו.
משום שתוואי המסילה עובר בין שמורות הטבע הסמוכות לנחל שורק, במהלך העבודות נפגעו הרבה ערכי נוף (עצי חורש טבעי נעקרו, אפיקי נחל נפגעו ופסולת עפר נערמה במקומות שאסור להשליכה). נפגעו גם כמה מבנים היסטוריים לשימור (תחנות הרכבת בית שמש ובתיר וגשרים שהוקמו בתקופת המנדט) בשל התנהגות הרסנית של קבלנים באתרי הבנייה. המועצה לשימור מבנים ואתרי התיישבות והחברה להגנת הטבע האשימו את רכבת ישראל בהתנהלות רשלנית. בהמשך העבודות (במקטע השני) נקבע במכרזי הרכבת תנאי-סף של ידע ברמה בינלאומית בנושא שימור היסטורי ואקולוגי (בשל כך, זכתה במכרזים חברת TSO הצרפתית).
התיאום עם עיריית ירושלים היה לוקה בחסר. העירייה התנגדה לפתיחתה מחדש של תחנת הרכבת ירושלים על רקע כוונה להפוך את התחנה הישנה למתחם נדל"ן. בכך הפכה תחנת הרכבת ירושלים מלחה לתחנת הקצה של הקו, שגם בנייתה הובילה לחיכוכים בין מוסדות התכנון השונים. בניגוד לתחנה הישנה שממוקמת כיום במרכז ירושלים, תחנת מלחה ממוקמת בשולי ירושלים, דבר שהוביל למיעוט נוסעים בתחנה. התכנון הלקוי הביא גם לכך שאין מספיק תחבורה ציבורית משלימה (אוטובוסים, מוניות, רכבת קלה) מהתחנה ואליה. כך אירע גם בתחנת הרכבת גן החיות התנ"כי.
אי-ודאות תקציבית בגלל התחלפות שר האוצר הביאה לעיכובים בבניית התחנות כמו גם בחידוש המסילה. בשל אי-הוודאות בוטלה הקמתו של מוסך רכבת בתחנת הרכבת ירושלים מלחה - לימים התברר כי ביטול הקמת המוסך הביא לכך שכל הרכבות בקו לירושלים נאלצות לחזור מדי ערב למוסך הרכבת בלוד, ולכן מצטמצמות שעות הפעילות של הקו.
בבדיקת הכדאיות הכלכלית של חלופת השדרוג הובאה בחשבון הפעלת שתי רכבות בשעה, שהתבססה על ההנחה שירכשו ברכבות רוכנות חדישות המסוגלות לנוע במהירות גבוהה יותר בעיקולים. אך במהלך הפרויקט החליטה הרכבת לבטל את רכישת הרכבות הרוכנות. כתוצאה מכך התברר, כי בשל זמן הנסיעה הארוך תוכל הרכבת להפעיל רכבת אחת בשעה בלבד.
לאחר פתיחת הקו המחודש.
המקטע הראשון של המסילה המחודשת נפתח ב-13 בספטמבר 2003 עת נפתחה תחנת הרכבת בית שמש המחודשת. התושבים שהחלו להשתמש בתחנה התלוננו על מחיר הנסיעה הגבוה שנגבה מהם ועל אי עמידה בזמנים של הרכבות. המקטע השני נפתח ב-9 באפריל 2005 עם פתיחת תחנת הרכבת ירושלים מלחה. חידוש הקו זכה לכיסוי עיתונאי נרחב, וראש הממשלה אריאל שרון ושר האוצר בנימין נתניהו אף בחנו בעצמם את הנסיעה בקו.
מיד עם פתיחת הקו המחודש התברר שמשך הנסיעה לא התקצר כלל ועדיין אורך כשעה וארבעים דקות (כחצי שעה יותר מהצפוי, כמעט כפליים מהנסיעה בכביש ופי שתיים וחצי בהשוואה לנסיעה בקו החדש). על חגיגות הפתיחה של הקו העיבו גם חריגות התקציב בפרויקט, שהסתכם בכ-540 מיליון ש"ח במקום כ-330 מיליון ש"ח, וגם העובדה שכל ההשקעה יועדה לפרויקט שממילא עתיד להיות מוחלף. התברר גם שהקרונות והקטרים הנוסעים בקו ניזוקים מהעיקולים של תוואי המסילה. עשרות שלדות של רכבות נשחקו ותיקונן נאמד בעשרות מיליוני שקלים. שוב הוגבלה המהירות במקטעים מסוימים במסילה ל-25 קמ"ש ונאסר השימוש במערכי בומברדיה דאבל דק קוץ', קרונות מו-דו החד קומתיים של אלסטום, סימנס ויאג'ו לייט או מערך נגרר אחר בעקבות הנזק שגרמו העיקולים החדים במסילה לציוד. בקו פועלות כיום אך ורק רכבות IC3 תוצרת ABB Scandia בעקבות יתרונם במסילות משופעות בהשוואה לקטרים והמרחק הקטן בין חוגוני המערך בהשוואה לקרונות נגררים, דבר המפחית משמעותית את שחיקת הקרונות בעיקולים החדים. בשל כך רבו המקרים של אי עמידה בלוחות הזמנים של הרכבות מירושלים לבית שמש. הכדאיות של הנסיעה בקו הייתה נמוכה מהצפוי, ורק בחגים נעשה בו שימוש המוני.