בשנת 1897 הפך הרחוב למשמעותי עד כדי כך שהממשל העות'מאני הפסיק לנעול את שער יפו בלילות ובימי שישי בצהריים (כפי שהיה נהוג עד אז) ובכך אפשר חיבור תדיר של העיר העתיקה אל הרחוב. בשנת 1898, לכבוד ביקורו בארץ של וילהלם השני, קיסר גרמניה, שופץ הרחוב והוצבו בו ספסלים ועמודי תאורה. בנוסף, נפרץ קטע החומה הסמוך לשער ומולא החפיר שהגן על מגדל דוד ובכך הרחוב חובר לחלוטין לעיר העתיקה.
עם הזמן התרחב הרחוב מערבה והוקמו בו גם מבני ציבור שונים ואתרים שונים, בשנת 1880 נפתח ברחוב בית הספר אליאנס, ב-1891 החל לפעול בית החולים העירוני, ב-1902 נחנך בניין בית החולים שערי צדק ובשנת 1908 נפתח בית היתומים הספרדי. בקצהו המערבי של הרחוב נבנו בתי מושב זקנים אשכנזי (נחנך ב-1901) וספרדי (נחנך ב-1906) וכן בית חולים פסיכיאטרי - עזרת נשים (נחנך ב-1906). ב-1891 הוקם גן העיר במקום מרכזי ברחוב והפך לרחבת כינוסים ומסדרים רשמיים של הצבא העות'מאני. גם בתים מידות פרטיים כדוגמת בית הקונסול פין או בית משיח ברוכוף ובתי סיידוף הוקמו ברחוב בתקופה זו. רוב שטח הרחוב לא היה בנוי בצפיפות בראשית המאה, ובין המבנים היו שטחים ריקים רבים.
רחבת שער יפו.
עם התפתחות המסחר והמגורים מחוץ לעיר החלה להתפתח ברחבה החיצונית של שער יפו מעין תחנה מרכזית שממנה יצאו עגלות וכרכרות נוסעים לכיוון יפו ובה נפרקו והועמסו שיירות הגמלים שהביאו סחורה לשוקי העיר העתיקה. אזור זה הפך למרכז העסקים הראשי (מע"ר) של העיר: לאורך הדרך, בצמוד לקיר החומה ומצדו השני של הרחוב, נבנו באותה תקופה בתי מסחר ובנקים רבים שיועדו לתושבי העיר אך גם, ואולי בעיקר, לצליינים ותיירים. הרכב אוכלוסייה זה משך לאזור גם בתי מלון ובשנת 1891 נחנך בו מלון פאסט שהיה גדול ומפואר מאוד לתקופתו. לאזור זה עברה ב-1896 עיריית ירושלים מתוך העיר העתיקה והתמקמה בניין חדש בצומת הרחובות יפו-ממילא. העירייה בנתה ברחבה זו גם סביל (נחנך ב-1902) ואת מגדל השעון של ירושלים (נחנך ב-1907) מכספי תרומות שאספה מתושבי העיר. הבניה המשיכה גם מערבה משם עם קונסוליות ובתי דואר של מעצמות זרות וכן חנויות צילום וסוכנויות תיירים. שני בניינים שנבנו בקצה המערבי של מע"ר זה מול גן העיר ונשארו בו עד היום הם בנייני הארמנים (נבנו ב-1901-1906).
הסוחרים ובעלי המלאכה שפעלו ברחוב, כמו גם העגלונים, כללו לאומים שונים: גרמנים טמפלרים, ארמנים, בריטים, יוונים, יהודים, ערבים ועוד ובכך יצרו מע"ר משותף יהודי-נוצרי-מוסלמי.
הרחוב במלחמת העולם הראשונה ובשלטון הצבאי הבריטי.
בעקבות הצטרפות האימפריה העות'מאנית לצד מעצמות המרכז במלחמת העולם הראשונה בשנת 1914, הונהג בארץ ישראל שלטון צבאי נוקשה. נתיני הארץ מקרב התושבים גויסו לעבודות כפייה ולצבא ורבים מתושבי וסוחרי הרחוב, יהודים ונוצרים, שהיו נתינים של מדינות שהפכו למדינות אויב, גורשו משטחי האימפריה. חיילים עות'מאנים וגרמנים שוכנו במבנים שונים שהוחרמו מבעליהם (למשל בבית מושב הזקנים והזקנות הספרדי) ולא פעם ביצעו מעשי שוד בבתי עסק ומוסדות. גם הניתוק משוקי העולם ומהמדינות שמהן הגיעו כספי החלוקה, פגעה אנושות בחיים ובמסחר בעיר כולה וברחוב בפרט.
ברחבת שער יפו הוצב גרדום עליו נתלו מרגלים ובוגדים.
ב-11 בדצמבר 1917 נערך ברחוב מצעד ניצחון בריטי (לאחר שהעיר נכבשה ללא קרב) שבראשו צעד הגנרל אדמונד אלנבי, ולאחריו החלה בעיר תקופת שלטון צבאי שנמשכה עד חודש יולי 1920. בתקופה זו הנהיגו הבריטים מדיניות של סטטוס קוו, לא התירו בנייה ופיתוח של העיר וכמעט שלא הסירו את ההגבלות על תנועת סחורות אל הארץ וממנה. הבריטים אמנם הגדירו את ירושלים כעיר בירה, אך להחלטה זו עדיין לא היו כמעט משמעויות בשטח.
תקופת המנדט הבריטי.
בשנת 1920 כונן בארץ ישראל המנדט הבריטי, שהיה שלטון אזרחי שמונה כדי לפתח את הארץ. העיר התפתחה מאוד בתקופה זו, והפעם בצורה מסודרת ועל פי תוכניות אב. מעורבות המעצמות האחרות בירושלים פסקה, והבריטים עסקו רבות בשיקום מצבה העגום של העיר ובניסיון להביאה למצב מתאים לעיר מודרנית במאה ה-20. על אף ששלטונות המנדט בנו בירושלים מבנים מעטים, בין היתר בשל התחייבותה של ממשלת בריטניה שלא להשקיע כספים בהחזקת השליטה בארץ ישראל, והסתפקו בשכירת מבנים קיימים, תרם השלטון הבריטי לעיצובה של ירושלים באמצעות שלוש תוכניות־אב ושתי תוכניות מתאר מקומיות. תוכניות אלו כללו בין היתר גם את רחוב יפו, ונודעה להם השפעה על התפתחותו של הרחוב ועל הבנייה בו, אף שזו נעשתה בעיקר בידי יזמים פרטיים וגופים מקומיים.
בתקופת המנדט עבר מוקד הפעילות המסחרית של הרחוב מערבה לקטע בין כיכר אלנבי (דאז, היום כיכר צה"ל) לצומת הרחובות יפו, המלך ג'ורג' וצ'נסלור. הבריטים החליטו להעביר את בניין העירייה ממקומו בצומת יפו-ממילא ובנו עבורו, בשותפות עם בנק ברקליס, בניין חדש (נחנך ב-1934) בסמוך לגן העיר. בסמוך אליו נבנו בנייני משרדים נוספים ששימשו גם הם את ממשלת המנדט אך רובם נבנו על ידי גופים פרטיים: בית הדואר המרכזי (נחנך ב-1938), בניין בנק אנגלו-פלשתינה (נחנך ב-1939), בניין חברת הביטוח ג'נרלי (נחנך ב-1935) והבניין הרוסי החדש. בנייני ממשל נוספים כגון בתי המשפט, הכלא העירוני, מטה הבולשת ובית החולים הממשלתי שוכנו במבנים קיימים במגרש הרוסים הסמוך לרחוב.
בהמשך הרחוב מערבה החלו להיבנות החל משנות ה-20 בנייני משרדים, מלונאות ומסחר על שטחי גן אנטימוס שנקנה על ידי חברת הכשרת היישוב בשנת 1922. על שטח זה נבנו בנייני כיכר ציון ומרבית הרחובות המהווים את המשולש הירושלמי. וסביבו התפתח מרכז העסקים הראשי (מע"ר) החדש, מנותק מהמע"ר הקיים בסמוך לשער יפו. כבר מתחילתו היו רוב בעלי העסקים במע"ר זה יהודים, אך הקונים בו היו גם ערבים מוסלמים ונוצרים.
בתקופה זו התבסס הרחוב בצורתו המוכרת כרחוב אורבני בנוסח אירופי, והחל רווח השם "רחוב יפו" לתיאור קטע הדרך שבתוך המרחב העירוני הירושלמי בניגוד ל"דרך יפו" שממשיכה עד העיר יפו עצמה.
לאחר מאורעות תרפ"ט שבהם יצא המון ערבי מכיוון שער יפו אל עבר ירושלים היהודית ונבלם רק לאחר שבזז חנויות יהודיות ורצח עיתונאי יהודי, החלו בעלי עסקים יהודים ששכנו במע"ר המקורי של הרחוב להעביר את חנויותיהם מערבה והאזור המזרחי הלך ונעשה לאזור ערבי במובהק. תהליך נטישת היהודים את חלקו המזרחי של הרחוב החריף לאחר הקמת הבווינגרד (ראו להלן), ועוד יותר לאחר ההתקפה על המרכז המסחרי הסמוך ברחוב ממילא. תהליך זה, של הפרדה לאומית בירושלים, הלך והחריף עד שהגיע לשיאו בפרוץ מלחמת העצמאות ובחלוקת העיר לאחריה.
בשנת 1932 הוקמה ברחוב, בסמוך לכיכר ציון, התחנה המרכזית של ירושלים. הקמת התחנה ביססה את מעמדו של אזור זה מבחינה עסקית ותיירותית, וסביבה נפתחו בתי מלון ומסעדות.
מושל ירושלים הבריטי הראשון, רונלד סטורס, התמקד לא רק בבנייה ושיקום של מבנים אלא גם בהריסת מבנים שלא תאמו את גישתו לצורה בה ירושלים צריכה להראות. בהוראתו נהרסו מגדל השעון העות'מאני מעל שער יפו, וכן הסביל וביתן בצלאל שעמדו ברחבת השער. למעשה, כל הבניינים במע"ר המזרחי של הרחוב, משער יפו ועד כיכר אלנבי, סומנו להריסה בתוכניות הבריטיות לפיתוח העיר החל משנת 1918, אך ההריסה נתקלה בבעיות משפטיות, ובפועל נהרס רק בית אחד בנוסף למבנים שהוזכרו לעיל. בניינים אלו נהרסו חלקית במהלך מלחמת העצמאות, ובאופן מוחלט לאחר מלחמת ששת הימים.
בווינגרד.
לאחר פיצוץ מלון המלך דוד ביולי 1946, החלו הבריטים בהקמת אזורי ביטחון (בווינגרד) לצורך שמירה על מוסדותיהם ומפקדותיהם בעיר. אזור הביטחון העיקרי, שהקמתו הושלמה בראשית שנת 1947, כלל את מגרש הרוסים, בניין ג'נרלי, בניין הדואר המרכזי, בנק אפ"ק ומתחם נוטרדאם. הקמת הבווינגרד לוותה בהחרמת חנויות רבות בבעלות יהודית ששכנו בבניינים שנכללו בו. בעלי חנויות אלו נאלצו לנדוד אל מעלה רחוב יפו או הרחובות הסמוכים, קבוצה של כמה מהם, יחד עם משפחת קוקיא, הקימה את בניין העמודים בסמוך לצומת יפו-המלך ג'ורג'-צ'נסלור. בווינגרד זה חסם לחלוטין את התנועה דרך רחוב יפו בין מערב העיר למזרחה, ובכך החריף עוד יותר את הפער בין חלקו העברי של הרחוב לחלקו הערבי.
תקופת מלחמת העצמאות.
לאחר החלטת החלוקה של האו"ם בכ"ט בנובמבר 1947 החריפה המתיחות ברחוב בין יהודים וערבים. ב-2 בדצמבר נערכה התקפה על חנויות יהודיות בממילא וברחובות הסמוכים ובתגובה הוצתו מספר חנויות בבעלות ערבית ברחוב יפו.
ב-14 במאי 1948 נערך על ידי כוחות ההגנה והאצ"ל מבצע קלשון שבמסגרתו השתלטו כוחות אלו על אזור הבווינגרד ברחוב ומתחמים נוספים שפונו על ידי הצבא הבריטי. לאחר מכן נכבש גם מלון פאסט על ידי כוחות עבריים.
בליל ה-17-18 במאי ניסה כוח מחטיבת עציוני לכבוש את שער יפו ומגדל דוד על מנת לפרץ דרך לרובע היהודי הנצור, אך התקפה זו נכשלה. וב-9 ביולי הניח כוח צה"ל מטעני חבלה במבני המע"ר המזרחי הנטוש על מנת שיהוו מכשול בין העיר העתיקה והעיר החדשה. מבנים אלו ניזוקו בהפצצות משני עברי הגבול ובהסכמי שביתת הנשק נשארו בשטח ההפקר.
שנות ה-50 עד שנות ה-70.
בסיום המלחמה, עם חתימת הסכמי שביתת הנשק, חולקה ירושלים באופן רשמי והמע"ר המזרחי (ההרוס) של הרחוב נותר בשטח הפקר בין ישראל לירדן והמבנים הסמוכים אליו (כמו מלון פאסט ואחרים) הפכו לאזורים סמוכי גבול ובעלי סיכון לצליפות חיילים ירדנים מחומת העיר העתיקה. במבנים אלו שוכנו משפחות עולים מעוטות יכולת ובכיכר אלנבי הוקמה חומת מגן גבוהה כנגד צליפות.