בין השנים 1918–1920 חידשה ההסתדרות הציונית באמצעות ועד הצירים את היוזמה לרכישת הכותל המערבי ופינוי שכונת המוגרבים הסמוכה לו. השטח היה חלק מהקדש "ווקף אבו מדין" ולכן ניתן היה לרוכשו רק בעסקת חליפין. מושל מחוז ירושלים רונלד סטורס היה מעורב ביוזמה וניהל מגעים חשאיים עם ההנהגה המוסלמית. במקביל התנהל משא ומתן בין נציגי הקהילה היהודית בירושלים בהובלת יוסף בר"ן מיוחס ומנהלי הווקף ללא ידיעתו של ויצמן. ישנן עדויות שאיש הביניים בין ועד הצירים והמופתי של ירושלים, כאמל אל-חוסייני, שעמד בראש הווקף, היה אחיינו של המופתי, אמין אל-חוסייני לו הובטחו דמי תיווך. ועד הצירים נסוג מן העסקה ומתשלום דמי התיווך משהודיע הרברט סמואל, בפברואר 1920, שכאשר ייכנס לתפקיד הנציב העליון תהיה ירושלים העתיקה לעיר עתיקות יפה, סמטאותיה הצפופות והמלוכלכות ייהרסו וממילא תפותח גם רחבת הכותל.
מאורעות תר"פ 1920 התחוללו בעיר העתיקה בסמוך לכותל.
זמן קצר לאחר מכן בעקבות הסכמת המושל הצבאי לתת למופתי את האפשרות לבצע תיקונים בכותל המערבי ללא צורך בהסכמת העם היהודי באמצעות נציגיו, פנה רבה הראשי של ארץ ישראל הרב אברהם יצחק הכהן קוק אל המושל במחאה על פגיעה בקדושתו של הכותל תוך שהוא מזהיר "כי חלילה לשום יד לנגוע בכותל הקדוש מבלי הרשאתינו".
במהלך שנת 1921 נרשמו אירועים של פגיעה בבאי הכותל, אך זרם הפוקדים את הכותל המשיך לעלות בהתמדה ובמיוחד בימי חג ומועד.
בשל העומס הרב במקום בימים נוראים ובשל תודעתם הלאומית, הציבו היהודים לקראת יום הכיפורים מספר ספסלים עבור חלושי-כח, ובפעם הראשונה גם מחיצה להפרדה בין גברים לנשים. בעיצומו של יום הכיפורים של שנת ה'תרפ"ט, 24 בספטמבר 1928 התפרצו שוטרים בריטים והסירו, תוך כדי התנגשות בקהל המתפללים, את המחיצה והספסלים. בנוסף המופתי הירושלמי אמין אל-חוסייני ציווה על המואזין לעמוד סמוך לכותל ולהשמיע מוזיקה בקול רם בשעת קריאת יזכור.
ועדות הכותל של בריטניה והיישוב היהודי.
בעקבות מחאות היישוב היהודי בארץ ישראל ובעולם על ההתנגשות, שבה נפגעו מתפללים יהודים, מינתה ממשלת בריטניה בהסכמת חבר הלאומים "ועדה לקביעת הזכויות והתביעות השנויות במחלוקת של היהודים והמוסלמים בכותל המערבי" - ועדה זו כונתה גם בשם "ועדת הכותל הבינלאומית". הוועדה קיימה דיון על גבולות הסטטוס קוו, כשבו נגבו עדויות מיהודים ומוסלמים על הרשאת היהודים להציב כיסאות, ספסלים ומחיצות בימי השלטון העות'מאני. לבסוף הוכרע הדיון לטובת המוסלמים ועל פי עדותם כי מעולם לא הובאו כיסאות או הוצבו מחיצות בכותל המערבי (דבר שלמעשה מוכחש מצילום מראשית המאה ה-20).
מיד לאחר התקרית ביום הכיפורים, פתחו אל-חוסייני והמועצה המוסלמית העליונה במסע תעמולה נמרץ להגנת מסגד אל-אקצא ושמירת זכויות המוסלמים בכותל, שהוחשב קדוש למוסלמים בתוקף היותו חלק מחומת המסגד. בנובמבר 1928, החל המופתי להגביר את הלחץ על השלטונות לכפות את הסטטוס-קוו. הוא יזם מחאות בפני משרד המושבות בלונדון ובפני חבר הלאומים, וכן עצרות מחאה תדירות במסגד אל-אקצא, ובנוסף לאלה, יצר גם פרובוקציות בסמוך לכותל, כדי לאלץ את הממשלה לפעול: קריאה של המואזין של מסגד כיפת הסלע בעת תפילה של היהודים, עריכת טקסי "ד'יכר", המלווים קריאות חזקות ומכות תופים. לשם הקצנת המחלוקת, יזמה המועצה המוסלמית העליונה בניית אגף נוסף למבנה של בית הדין השרעי, שממנו ניתן להשקיף אל הכותל, ואף פתיחת פתח ברחבת הכותל, כדי להפוך אותה לדרך מעבר לתושבי המקום.
בקיץ 1929 פרצו מאורעות תרפ"ט שהחלו בתשעה באב ברחבי הארץ. בעקבות אירועי הכותל ומאורעות תרפ"ט, הוקמו בקרב היישוב היהודי שתי ועדות לצורך הטיפול בענייני הכותל. הוועדות היו מורכבות מנציגים של המוסדות הלאומיים, הרבנות הראשית, ואגודת ישראל. בעקבות ועדות אלה ייסדו ב-1930 את תפקיד רב הכותל, שנמסר לרב יצחק אביגדור אורנשטיין.
ועדת הכותל הבינלאומית הגישה את הדו"ח שלה ביוני 1931. בעקבות דו"ח הוועדה נקבעו תקנות לסדרי התפילה בכותל, שבהן נאסר להניח שם כל חפץ כולל מחיצה, שולחן, ארון או כיסא. הבאת ארון קודש ושולחן לקריאה בתורה הותרה רק בחגים ובימי צום. בימים אחרים נאלצו המתפללים להפסיק את התפילה, וללכת אל בתים באזור, בהם ניתן היה לקיים את קריאת התורה, ולאחר מכן חזרו להמשך התפילה בכותל. נאסר לתקוע בשופר ליד הכותל, ולכן לא יכלו לקיים את תפילות ראש השנה. למרות זאת, בתפילת נעילה של יום הכיפורים תר"ץ 1930 תקע משה צבי סגל, צעיר מתנועת הנוער בית"ר. ובמשך השנים, הוגנבו שופרות שבהם תקעו עם סיום היום בכל שנה.
למעשה בתקופה זו, מלבד בראש השנה, התקיימו בכותל המערבי תפילות בכל ימי השבוע. בימי חג ושבת היה הכותל הומה מרוב אנשים. גם מבקרים ותיירים רבים פקדו את המקום ותועדו כמדי יום ביומנו של הרב אורנשטיין. בשנת ה'תש"ו 1946 ביקרו בכותל, לפי הערכתו של רב הכותל, כ-370,000 נפש.
בתקופת השלטון הירדני.
התפילה הציבורית האחרונה בכותל נערכה בט"ז בכסלו תש"ח, ערב החלטת החלוקה של האו"ם ב-29 בנובמבר 1947. באותו יום נכחו בכותל כ-1,500 מתפללים שבאו במיוחד להתפלל להצלחת מדינת ישראל שבדרך. בחצות הלילה כמדי יום הגיעו קבוצות של חסידי ברסלב לערוך תיקון חצות. לאחר מכן חסמו הבריטים את הדרך אל הכותל. הערבים הטילו מצור על הרובע היהודי במשך 6 חודשים, עד שנפל בידי הלגיון הירדני באביב תש"ח 1948.
בהסכם הכניעה של יהודי העיר העתיקה, סוכם שתתאפשר גישה של אזרחי מדינת ישראל לכותל. אך בפועל מאז כיבוש העיר בידי הירדנים ב-1948 ועד 1967 נמנעה גישה של ישראלים לכותל. בתחילת התקופה היה הכותל סגור לתיירים, אך בהמשך נפתח לביקורי תיירים (לא ישראלים). בתשעה באב מדי שנה נהגו יהודים לעלות להר ציון ל"מצפה הבית" כדי לצפות על הר הבית והכותל המערבי.
בתקופת שלטון ישראל.
הכותל, כמו כל העיר העתיקה נכבש על ידי צה"ל במלחמת ששת הימים. תצלום הצנחנים בכותל המערבי הוא מהתמונות המפורסמות בתולדות המדינה. זמן קצר לאחר מכן הרסו דחפורי חיל ההנדסה של צה"ל את שכונת המוגרבים ששכנה בסמוך אל הסימטה הצרה של הכותל, ובמקומה נבנתה רחבה למתפללים ולמבקרים.
בשבועות תשכ"ז נפתחו שערי העיר העתיקה לתנועה חופשית של תושבי ישראל. יותר מ-200,000 איש הגיעו בהתרגשות רבה לבקר באזור, שביקורים בו נמנעו מהם במשך כשני עשורים.
עקב התנועה הרבה שלעיתים הייתה כרוכה בחילול חג המוני נדרשו כללים וסדרים חדשים להתנהלות במקום, תוך תשומת לב לקדושתו וחשיבותו התרבותית. בח' בתמוז תשכ"ז, (16 ביולי 1967) - חוקקה הכנסת את חוק השמירה על המקומות הקדושים. האחריות למתחם הכותל המערבי, סדריו, תחזוקתו וניהולו עברו מן הרבנות הצבאית אל משרד הדתות, אז בראשותו של השר זרח ורהפטיג. תקנות שהותקנו מכוח חוק זה קובעות את המותר והאסור בכותל המערבי ובאזור הסמוך אליו.
לקראת תשעה באב תשכ"ז 1967 התחיל חיל ההנדסה בהתקנת פנסים וזרקורים להארת המקום, כדי שאפשר יהיה לשהות בו גם בלילה, וכן נהרסו מבנים שנמצאו בסכנת התמוטטות. בתקופה זו התמנה האדריכל יוסף שנברגר לשמש יועץ שר הדתות לפיתוח רחבת הכותל. פרופ' בנימין מזר מונה לשמש ראש המשלחת הארכאולוגית לחפירות בכותל הדרומי ובכותל המערבי. במשך מספר חודשים שימש החלק הדרומי של רחבת הכותל כעזרת גברים, ואילו החלק הצפוני אשר מוגבה יותר שימש כעזרת נשים. הוחלט ליישר את השטח הצפוני המוגבה, ונחשפה הכניסה מתחת לבנין המחכמה. עפר, פסולת ושברי אבנים, מתחת לבנין המחכמה עד לקשת וילסון פונו. כמו כן חודשה משרת רב הכותל ועוגנה בתקנות מדינת ישראל במסגרת הרבנות הראשית לישראל וחוק השמירה על המקומות הקדושים. משנת 1988 נמצא הכותל באחריות מלאה של הקרן למורשת הכותל המערבי, שהוקמה בשנה זו. הקרן למורשת הכותל, הכפופה למשרד ראש הממשלה, אחראית על כל ענייני האדמיניסטרציה הקשורים בכותל המערבי, על אחזקה וניקיון של רחבת הכותל המערבי ומנהרות הכותל, פיתוח ובינוי של רחבת הכותל וסביבתה, וכן על תחומי חינוך הקשורים בכותל המערבי.
כיום.
אזור תחום ברחבה המשתרע עד הכותל עצמו נחשב כבית כנסת אורתודוקסי, בו נערכים מאות של מניינים במהלך כל היום ולפיכך קיימת בו הפרדה בין נשים לגברים. בכניסה אליו מתבקשים המבקרים לכסות את ראשם, והנשים מתבקשות לשמור על כללי הצניעות. יש נוהגים שנערים המגיעים לגיל מצוות באים לכותל כדי לעלות לתורה. התפילה במקום מתנהלת על פי ההלכה.
עקב זאת, מדי פעם מתעוררות מחלוקות; למשל בעקבות ניסיונות של קבוצת נשות הכותל (חלקן שייכות לתנועה ליהדות מתקדמת) להתפלל ברחבת הכותל כשהן עטופות בטליתות. בעקבות עתירה לבג"ץ אישרה הממשלה בינואר 2016 את מתווה הכותל - הסדר שלפיו תורחב עזרת ישראל, רחבת התפילה המעורבת בחלקו הדרומי של הכותל המערבי, והיא תנוהל בידי מועצה שבה נציגי הזרמים הלא אורתודוקסים ונשות הכותל. בלחץ המפלגות החרדיות חזרה בה הממשלה מהמתווה וביטלה אותו ביוני 2017.
הכותל המערבי הוא אתר מרכזי בטקסי ההשבעה של צה"ל; ברחבת הכותל משביעים את חיילי חטיבת כפיר, חטיבת הצנחנים, חטיבת הנח"ל וחיל המשטרה הצבאית בנוכחות מכובדים, אורחים ומשפחות החיילים; וכן נערכים בו אירועים ממלכתיים נוספים, כמו פתיחת אירועי יום הזיכרון לחללי מערכות ישראל ולנפגעי פעולות האיבה.