ההתפתחות המהירה של ירושלים לאחר איחוד העיר והגידול בתנועה התחבורתית הפכו את התחנה המרכזית למיושנת, צפופה ובעייתית. מבנה תחנה חדש ומודרני יותר הוקם בסוף שנות ה-60 בחלקו המערבי של רחוב יפו על שטח מושב הזקנים הכללי המאוחד, באזור רוממה - מיקום שהיווה את הכניסה הראשית לעיר וצומת דרכים עיקרי שממנו התפצלו צירים למרכז העיר, שכונות מערב העיר, שכונות צפון העיר וכן כביש ירושלים-תל אביב. מבנה תחנה זה כלל בניין לקופות ומשרדים ורציפים חיצוניים, והוא שימש בתפקידו עד סוף המאה ה-20. חוזה להקמת התחנה נחתם בסוף 1965. התחנה החדשה במקום נחנכה ב-6 בספטמבר 1968, בטקס בנוכחות ראש העירייה טדי קולק ושר התחבורה משה כרמל.