אורכו של היכל בית הכנסת היה 15 מטרים ורחבו 14 מטרים. עזרת נשים הייתה בגלריה חיצונית משלושת צידי האולם (למעט צד מזרח), והגישה אליה הייתה מהמגדלים שבפינות הבניין. ארון הקודש היה ארון מפואר במיוחד, שהובא במיוחד עם שער הכניסה לבית הכנסת מבית כנסת בעיר חרסון שברוסיה (כיום אוקראינה), ארון קודש שנבנה על ידי קנטוניסטים שגויסו בכפייה לצבא הרוסי ושבו לדת היהודית לאחר שחרורם. ייחודו של ארון הקודש היה שהוא כלל שני חלקים, עליון ותחתון, ועליו ארבעה עמודים בסגנון קורינתי. מעל ארון הקודש היה פתוח חלון בצורת פרח בעל שלושה עלים, ובו שמשת ויטראז' מצוירת.
הבימה של בית הכנסת הייתה מעוצבת מעץ, אך בשנת 1927 ברעידת האדמה הגדולה, נפלה הנברשת של בית הכנסת והרסה את הבימה. בעקבות זאת נבנתה הבימה מחדש משיש. קירות בית הכנסת היו מצוירים ומעוטרים. בשיפוץ בית הכנסת בסוף שנות השלושים הוחלפו ציורי הקיר, מצד ימין של ארון הקודש צוירה מנורת בית המקדש, ומשמאלו הר סיני ועליו לוחות הברית. מעליהם צוירו שני מגיני דוד גדולים. בארבע פינות האולם (מעל לקשתות) צוירו ארבעת המקומות הקדושים: קבר רחל, הכותל המערבי, מגדל דוד, ומערת המכפלה.
זאב וילנאי מספר שבבית הכנסת החורבה היה מעין עמוד קלון שכונה 'הקונֶה' (שם זה בא כנראה משפת היידיש). ה'קונה' הייתה מחוץ לבית הכנסת, לצדה של עזרת נשים והייתה בנויה כמין אצטבא של עץ. מי שעבר עבירה חמורה או אפילו אשה שנחשדה במעשה מגונה הושם שם למשך מספר שעות, וכל מי שעבר במקום חרף וגדף את החוטא/ת. לימים הוסר ה'קונה' ובמקומו הושם שלט ובו נוסח ברכת קידוש לבנה.
בית הכנסת במלחמת העצמאות.
המבנה ניצב במלוא תפארתו עד מלחמת העצמאות.
מפקד הלגיון הערבי בירושלים, עבדאללה א-תל, ביקש להסיר מעצמו את האחריות לחורבן בית הכנסת ולכן 48 שעות קודם לכן כתב אל אוטו לנר מהצלב האדום, והזהיר אותו שאם ה"הגנה" לא תעזוב את עמדותיה בבית הכנסת ובחצר הסמוכה אליו, הוא ייאלץ לתקוף אותו. אולם מפקד הרובע היהודי, משה רוסנק, לא היה יכול להסכים לבקשה זו. א-תל לא קיבל תשובה על מכתבו והורה לכבוש את בית הכנסת. חבית בנפח 200 ליטר מלאה בחומר נפץ, פוצצה חור בקיר בית הכנסת. במשך 45 דקות בלמו 12 אנשי ה"הגנה" את הלגיון ומנעו ממנו לפרוץ דרך החור, אולם בסופו של דבר פרצו חיילי הלגיון פנימה. הלגיונרים ניסו לטפס על ראש כיפת בית הכנסת כדי להניף שם דגל ערבי. שלושה מהם נורו על ידי צלפי ה"הגנה", אולם הרביעי הצליח.
ב-27 במאי 1948 בל"ג בעומר, כיום לפני כניעת הלוחמים, פוצץ בית הכנסת בידי לוחמי הלגיון הערבי. לאחר מכן החריב הלגיון את בית הכנסת תפארת ישראל.
העיתונאי האמריקני ג'ון רוי קרלסון תיעד את חורבות בית הכנסת מיד לאחר פיצוצו:
שיקום חורבות בית הכנסת אחרי 1948.
מבית הכנסת נותרו רק עמודים אחדים ויסודות. אחרי מלחמת ששת הימים, לא שוקם בית הכנסת במסגרת שיקום הרובע היהודי, אך שוחזרה באופן סמלי אחת מארבע הקשתות שתמכו בכיפת הבניין. קשת זו הפכה לסמל בית-הכנסת ולוגו של החברה לשיקום ולפיתוח הרובע היהודי ולמוסדות רבים בשכונה. המבנה היחיד בחצר החורבה ששרד ושוקם מיד לאחר מלחמת ששת הימים היה בית הכנסת מנחם ציון, המשמש מאז כבית כנסת.
עורך הדין יעקב סלומון, דור חמישי בארץ ובנו של חיים סלומון, שהיה ראש קהילת ירושלים הנצורה בזמן מלחמת העצמאות, פעל למען שיקום החורבה, החל ביוני 1968. סלומון הצליח לעניין את לואי קאהן מפילדלפיה, שנחשב לגדול האדריכלים היהודיים בעולם דאז, לסייע בתכנון המבנה החדש וסביבתו. לואי קאהן ביקר באתר בישראל והגיש תוכניות ראשוניות של בניין חדש ומפואר ומקורי, שהתבססו על הרעיון שייעוד הבניין אינו שיחזור הבניין הקודם כבית כנסת עבור העדה האשכנזית בעיר העתיקה בלבד, אלא, כמרכז רוחני קדוש יהודי ולאומי-דתי, לכלל ישראל. שר הדתות ד"ר זרח ורהפטיג ועוזריו התנגדו, ואילו טדי קולק, ראש העיר ירושלים, תמך ועשה רבות לקידום התוכנית של לואי קאהן על כל היבטיה. בגלל אילוצים תקציביים עקב מלחמת יום הכיפורים, ובגלל פטירתו של לואי קאהן, הוחלט להסתפק בשיקום ושיחזור הבניין הישן
בראשית המאה ה־21 החליט דירקטוריון החברה לשיקום הרובע היהודי, בראשות הרב ערן הוכברג, ואדריכל החברה דאז, אדריכל גדעון חרל"פ, כי הגיעה העת להחזיר עטרה ליושנה, ולהתחיל בבנייתו מחדש של בית הכנסת בשלישית. התכנון נעשה מול מתנגדים רבים בממסד העירוני והתכנוני, שביקשו להנציח את המצב הקיים. בשנת 2003 החלו עבודות שחזור ושיפוץ נרחבות. תחילתו של השיקום הייתה בחפירת יסודות ועריכת חפירה ארכאולוגית בה נמצאו ממצאים ממספר תקופות, וביניהם מספר מקוואות מתקופת בית שני ורחוב מהתקופה הביזנטית. הממצאים שומרו והם מוצגים במרתף בית הכנסת.
בשנת 2006, לרגל תחילת שיקום האתר, הוצא לאור הספר "חצר חורבת רבי יהודה החסיד" על ידי הרב ליאור זילבר. ספר זה מגולל לראשונה את סיפורו של האתר.
בפברואר 2007 הוכתר בטקס סמלי על ידי גופים חרדים הרב שמחה קוק, רבה של רחובות, כרב בית כנסת החורבה, אולם בית הכנסת מנוהל בפועל על ידי החברה לשיקום ולפיתוח הרובע היהודי.
ב-כ"ט באדר ה'תש"ע (15 במרץ 2010), בתום תהליך השיקום והשחזור, נחנך בית הכנסת בטקס חגיגי.
בשל העובדה שנחרב ושוקם מחדש, יש פוסקים שכתבו כי יש לברך על ראיית בית הכנסת את ברכת מציב גבול אלמנה, אם לא ראהו במשך שלשים יום.
בית הכנסת הרביעי.
מבנה בית הכנסת מתבסס על שרידי הקירות של המבנה העות'מאני. נדבכי הקירות שלא נהרסו ושרידי כותל המזרח של בית הכנסת שנותר עומד, שולבו במבנה המודרני. בעוד קירות הבטון המודרניים מסוידים בלבן, הושארו הקירות מן המבנה הישן בלתי מטוייחים. אדריכל בית הכנסת המשוחזר היה נחום מלצר. מהנדס בית הכנסת היה יוסי גורדון. שיחזור בית הכנסת דרש מחקר מעמיק בגאומטריה, בפרטים ובחומרים של בית הכנסת המקורי (השלישי) ופתרונות קונסטרוקטיביים יצירתיים.
פנים המבנה עוצב לפי תמונות בית הכנסת מראשית המאה ה-20 ועל פי דגם שנבנה בשנת 1912 לערך על ידי האמן מאיר רוזין ולפי עדויות. חלק מציורי הקיר שוחזרו בטכניקה מיוחדת, בפרט שוחזרו ארבעה מדליונים המציגים את מערת המכפלה, קבר רחל, טבריה וצפת וציור קיר מעל הפתח המציג כלי נגינה תלויים על ערבות מעל נהר, כאיור של הפסוק "עַל נַהֲרוֹת בָּבֶל שָׁם יָשַׁבְנוּ גַּם בָּכִינוּ בְּזָכְרֵנוּ אֶת צִיּוֹן עַל עֲרָבִים בְּתוֹכָהּ תָּלִינוּ כִּנֹּרוֹתֵינוּ".
עזרת הנשים נמצאת בגלריה מצד מערב, בצידה יש עלייה למרפסת בסיס הכיפה, ממנה מובילים שני גרמי מדרגות לוליניות חיצוניים עשויים פיתוחי ברזל אל רום הכיפה ואל הכניסה לגלריה פנימית עטורת חלונות, המשקיפה אל חלל בית הכנסת מלמעלה.
על כיפת בית הכנסת כתובים שמותם של 12 שבטי ישראל; בפינות שבין הקשתות הפנימיות מצוירים ארבעה אתרים קדושים: טבריה העתיקה, מגדל דוד, קבר רחל ומערת המכפלה. על החלק העליון של הקיר המערבי מצויר נהר ונוף וכתוב ציטוט מספר תהילים קל"ז: עַל נַהֲרוֹת, בָּבֶל--שָׁם יָשַׁבְנוּ, גַּם-בָּכִינוּ: בְּזָכְרֵנוּ, אֶת-צִיּוֹן. ב עַל-עֲרָבִים בְּתוֹכָהּ-- תָּלִינוּ, כִּנֹּרוֹתֵינוּ. ג כִּי שָׁם שְׁאֵלוּנוּ שׁוֹבֵינוּ, דִּבְרֵי-שִׁיר--
ארון הקודש שוחזר לפי צילומים של ארון הקודש הישן, אלא שהוא גדול יותר בנפחו הפנימי מן הארון המקורי.
בשנת 2010 נפתח בית הכנסת מחדש בטקס חגיגי.
הרב שמחה הכהן קוק הוכתר כרב בית הכנסת, וכיהן בתפקיד עד לפטירתו בכ"ג באייר תשפ"ב. לאחר פטירתו, מתפללי בית הכנסת, המשתייכים ברובם לקהילת אדרת אליהו, הכתירו במקומו את הרב אליהו (בן הרב יום טוב) זילברמן כרב בית הכנסת, אך הנהלת בית הכנסת והקרן למורשת הכותל המערבי התנגדו למהלך.
עיקר מתפללי בית הכנסת לכל אורך השנה באים מקהילת אדרת אליהו (זילברמן).
אל-בוראק
אל-בּוּראק (בערבית: البُراق, אלבֻּראק, "הבָּרק") במסורת המוסלמית היא בהמה פלאית מעופפת דמוית סוס או פגסוס, שעל גבה רכב הנביא מוחמד ממכה אל "המסגד הקיצון" ב"ליל המסע והעלייה לשמים".
יש חוקרים הסבורים כי הביטוי "אל-בוראק" הוא גלגול של סוסיא ברקא המוזכר בתלמוד הבבלי.
אל-בוראק במסע הלילי.
לפי המסורת, לשם המסע הועמדה לרשות מוחמד בהמה מיוחדת, אל-בוראק, שכל צעד שלה מגיע עד האופק. עוד באותו לילה הגיע מוחמד אל המסגד הקיצון (בערבית: אלמסג'ד אלאקצא; ניתן להבנה בתור מסגד אל-אקצא) עלה לרקיע השביעי וקיבל בו את המצווה להתפלל חמש פעמים ביום. משחזר לאדמה, חיכתה לו אל-בוראק והביאה אותו בחזרה למכה. על-פי המסורת, המסע היה מהיר כל-כך, שמיטתו של מוחמד עוד הייתה חמה עם חזרתו.
התפתחות המסורת.
הקוראן מזכיר בפסוק אחד (סורה 17 פסוק 1) את אותו הלילה, כך כתוב:
אל-בוראק אינה מוזכרת אך לפי המסורת המוסלמית הדרך למסגד המרוחק הייתה על גבה.
המסורת המוסלמית מרחיבה ומספרת כי המלאך גבריאל ציווה על מוחמד לקום משנתו ולצאת אל "המסגד האחרון".
מיקומו של המסגד האחרון.
תחילה פירשו את המסגד האחרון או המרוחק כמסגד שמיימי, יש שפרשו שאותו מסגד סמוך אל הכפר ג'יעראנה. כשנאסר על בני דמשק הסונים להגיע אל מכה בשנת 682 החלו לטעון שהמסגד המרוחק הוא מסגד אל אקצא ולעלות אליו לרגל.
בתקופת צלאח א-דין, שהיה מעוניין לחזק את מעמדה של ירושלים בעולם המוסלמי, החלו לטעון כי המדובר במסגד הבנוי על הר הבית בירושלים (מסגד אל-אקצא), אולם מדובר בזיהוי מאוחר שאינו מן הקוראן.