בחודש נובמבר 1869 ביקר הקיסר פרנץ יוזף בירושלים (כחלק מסיורו במזרח התיכון לרגל טקס פתיחת תעלת סואץ שהתקיימה ב-17 בנובמבר), ובמהלך ביקורו ראה את בנין בית הכנסת שעוד לא הושלם. לפי האגדה הקיסר הביע את תמיהתו מדוע אין לבנין כיפה, ונענה בתשובה: "אדוננו הקיסר, בית הכנסת הסיר את כובעו לכבודך", תשובה אשר מצאה חן בעיני הקיסר. בעיתונות התקופה דווח כי הקיסר תרם סכום של אלף פרנק צרפתי לבניית בית הכנסת.
כיפת בית הכנסת נצבעה בצבע ירוק והדבר הרגיז את המוסלמים שכן הצבע הירוק מקודש בקרב המוסלמים. בעיתון הלבנון מכ"ב אלול, תרל"ג (25 בספטמבר 1872) מסופר על כיפת בניין בית הכנסת תפארת ישראל באלו המילים:
בעיתון הצבי משנת 1887 (יט באייר, תרמ"ז) כתוב כי הברון רוטשילד שידע שצבע הכיפה הירוק גורם לעוינותם של המוסלמים כלפי בית הכנסת, שלח כסף לגבאי בית הכנסת נסים ב"ק (ייתכן כי זו שגיאת כתיב והכוונה היא לניסן ב"ק) למען צביעת כיפת בית הכנסת בצבע אחר.
פעילות בית הכנסת.
בחודש אב ה'תרל"ב נחנך בית הכנסת. לכבוד המאורע חילקו, בהוראת ר' ניסן בק, לחם ובשר ל-400 מתושבי העיר העתיקה, אשכנזים וספרדים.
בית הכנסת היה כה מלא במתפללים, עד שחלקם נאלצו להביא כיסאות מהבית, מחוסר מקומות ישיבה פנויים.
הרבי מרוזין התבטא לפני הקמת בית הכנסת על חשיבותו, ואמר שבזמן שהיה בית המקדש קיים, היו התפילות של כל יהודי עוברות ועולות ממקום המקדש, ועתה, בזמן הגלות, יעברו התפילות דרך מקום בית הכנסת תפארת ישראל.עם פטירתו של רבי אברהם יעקב מסדיגורה, נפרדה חצר סדיגורה לשתי חצרות, כשהבן הגדול רבי יצחק מכהן כאדמו"ר מבויאן והבן הצעיר רבי ישראל ממשיך כאדמו"ר מסדיגורה. נשיאות בית הכנסת, זכות ההדלקה במירון ונשיאות "כולל וואהלין" ו"קופת מעות ארץ ישראל" עברו לבן הגדול, רבי יצחק מבויאן, ואף הוא כאביו פעל רבות לחיזוקו של בית הכנסת כשרוב מתפללי בית הכנסת משתייכים לחסידות בויאן.
יהודים רבים ברוסיה בהם רבנים מפורסמים, קנו מקום ישיבה בבית הכנסת, חלקם בשל הסגוליות שבדבר - אף על פי שלא התכוונו לעלות לארץ ישראל. כל רוכש קיבל מסמך בעלות שנקרא "ספר המקנה". את הסמכות למכירת מקומות ישיבה, העניקו האדמו"רים נשיאי בית הכנסת לגבאים מיוחדים שמונו לצורך כך בארץ ישראל ובאירופה.
בשטר מכירת מקום בבית הכנסת מתקופת רבי יצחק מבויאן מופיעה הפסקה: .
בתחילת המאה ה-20 המשיך בית הכנסת להיות מלא במתפללים, למרות ההתפתחות הגדולה של היישוב היהודי מחוץ לעיר וירידת מספר המתפללים בבית הכנסת החורבה, בגלל שזקני החסידים המשיכו להתגורר ליד בית הכנסת. אולם כלי הכסף של בית הכנסת מושכנו במסגרת ניסיון לא מוצלח להרחבת הדרך ליד בית הכנסת על חשבון חצר הקראים שיצא מכלל שימוש ולמתפללים לא היו את האמצעים לפדותם. עם כל גודלו של בית הכנסת, תיארו אליעזר בן-יהודה בשנת 1910 במילים:
לחיזוק מסוים זכה בית הכנסת, כאשר בשנת 1927 ביקר במקום האדמו"ר רבי מנחם נחום מבויאן, בנו- ממשיכו של רבי יצחק מבויאן, שהגיע לביקור מיוחד בארץ ישראל. אולם בעקבות ירידת קרנו של הרובע היהודי לטובת העיר החדשה שמחוץ לחומות, וההגירה המסיבית לשכונות החדשות, מצבו של בית הכנסת המשיך להתדרדר. נעשו ניסיונות על ידי אדמו"רי בית רוז'ין בראשותו של רבי שלמה'ניו מסדיגורה לשקם את המקום ולהשיב לו את זוהרו, ואף הוקמה "חברת תפארת ישראל", שבין פעולותיה, חיברה את הבניין לרשת החשמל, אך המקום לא שב לקדמותו.
במלחמת העצמאות.
כשכנו, בית הכנסת החורבה, שימש גם "תפארת ישראל" כעמדה ללוחמי הרובע היהודי במלחמת העצמאות:
במהלך כיבוש הרובע היהודי בידי הלגיון הערבי, פוצץ לבו של הבניין באמצעות מטען של מאה קילוגרם. לגיונרים לא סדירים נהרו לתוך בית הכנסת והחלו לבזוז את תכולתו. קבוצה קטנה של אנשי "הגנה" ובראשה יהודית ג'הראן בת ה-16, ילידת הרובע, יצאה להתקפת נגד וכבשה מידי הערבים את הריסות בית הכנסת. אנשי ה"הגנה" מצאו את גופותיהם של הערבים הלא סדירים שנהרגו בהתקפה, כשפרוכות עוטפות את מתניהם, דפי תורה בתוך חולצותיהם ומנורות בכיסיהם. לאחר מכן נפל בית הכנסת שנית.
לאחר כיבוש הרובע, הרסו הכובשים את בית הכנסת ובזזו את תכולתו, ורק חלק מחזיתו שרד. את בית הכנסת החורבה הרסו הירדנים עד היסוד. היו אלו שני בתי הכנסת הגדולים והמפוארים בעיר העתיקה, שהתנוססו לגובה רב, מעוטרים שניהם בכיפה גדולה, בדומה למסגדים שעל הר הבית.
אתר בית הכנסת כיום.
לאחר שחרור העיר העתיקה ויישובו מחדש של הרובע היהודי ביהודים, נותרו שרידי בית הכנסת על תילם ולא שוחזרו. חזיתו המעוטרת של בית הכנסת מזכירה מאוד את חזית בית הכנסת העתיק בברעם שבגליל העליון, שכנראה נתן השראה לבוני בית הכנסת. במרתף בית הכנסת עדיין ניתן בקלות להבחין שרידי מקווה הטהרה שהיה בבנין.
שרידי המבנה שוכנים ב"רחוב הקראים": מדרומו ומזרחו של האתר הוקם בניין ישיבת הכותל וממערבו בניין מגורים בו שוכן בית הכנסת הקראי.
באתר הוצבו שלטי הסבר הכוללים תמונות מהווי בית הכנסת המקורי.
שיקום בית הכנסת.
לאחר מלחמת ששת הימים בקשו חסידי רוז'ין, ובראשם זקן השושלת רבי שלמה חיים מסדיגורה (רבי שלמה'ניו), לשקם את בית הכנסת. הוקם ועד חסידים לטיפול בעניין אך מאמציהם לא נשאו פרי של ממש.
במשך עשרות שנים, ריכזה את הפעילות לשיקום ושחזור ביה"כ ישיבת "תפארת ישראל – רוזין" שיסד האדמו"ר רבי מרדכי שלמה מבויאן. אלו פעלו בכל המישורים לבנייתו מחדש של בית הכנסת, המהווה סמל ראשון במעלה לחסידות. גם את בית הכנסת המרכזי של החסידות, בנשיאות האדמו"ר רבי נחום דוב מבויאן, בנו חסידי בויאן בקווים אדריכליים שמזכירים את בית הכנסת החרב בעיר העתיקה, ואף קראו לו בשמו של בית הכנסת החרב: בית הכנסת הגדול "תפארת ישראל".
לצד שימור האתר ושרידי בית הכנסת כאתר תיירות, מתקיימת פעילות לשיקום בית הכנסת, כפי ששוחזר בית הכנסת החורבה. עם חידוש ההתיישבות היהודית בעיר העתיקה, התגורר בשכנות לבית הכנסת רבי משה שטיגליץ-אריאל (אביהם של הרב יעקב אריאל והרב ישראל אריאל). הלה, חסיד בויאן, שהיה עובר בו לפני התיבה במשך שנים, החל לפעול לשיקום בית הכנסת, וניהל מגעים עם גורמים שונים לשם כך. הוא יזם מחקר על צורתו המקורית של בית הכנסת, ואף הזמין ציור ענק (10 מ"ר) של חזית בית הכנסת, מדויק בכל פרטיו. הציור מוצב כיום במשרדי מכון המקדש, מקום מגוריו של משה שטיגליץ-אריאל עד לפטירתו. שטיגליץ התלונן על כך שמאמצי החסידים מופנים בעיקר לעיר החדשה והם זונחים את העיר העתיקה. הרב ישראל אריאל, יו"ר מכון המקדש, ממשיך לקדם את היוזמה לשיקום בית הכנסת, כהמשך לשיקומו של בית כנסת החורבה, וזאת במקביל לפעילותה של עמותת 'עטרת כהנים'.
בשנת תש"ע הקציבה החברה לשיקום ולפיתוח הרובע היהודי מיליון ש"ח לצורך תכנון ראשוני של שחזור בית הכנסת. המליונר היהודי ודים רבינוביץ' שמימן חלק ניכר משחזור בית הכנסת החורבה, הבטיח להשתתף במימון שחזור בית הכנסת תפארת ישראל, אולם בסופו של דבר נראה כי את בית הכנסת תבנה מדינת ישראל באמצעות משרד השיכון לאחר שתוכניות החברה לפיתוח הרובע להשגת המימון כשלו. בנובמבר 2012 אושרה תוכנית בית הכנסת להפקדה בוועדה המחוזית לתכנון ובנייה.
בנובמבר 2012 אישרה הוועדה המחוזית את התוכנית לשחזור בית הכנסת.
בכ"ז אייר תשע"ד - 27 מאי 2014 (ערב יום שחרור ירושלים) התקיים טקס הנחת אבן הפינה לשיקום ובנין הבית הכנסת מחדש, וזאת לאחר שממשלת ישראל החליטה בהחלטה רשמית להקציב סך של 50 מיליון ₪ לצורך שיקום ושחזור בית הכנסת.
בט' תשרי תשע"ז - 11 באוקטובר 2016 פרסמה החברה לפיתוח הרובע 'קול קורא' לבית הכנסת לפיו ייקבע זהות מפעיל בית הכנסת, כשלפי אמות המידה נקבע שבית הכנסת ישמש ברובו כמרכז תיירות, כמרכז אירוח לחיילי צה"ל ותלמידים, וכבית כנסת לאומי וממלכתי. המכרז עורר סערה רבה בקרב חסידי רוזין - בויאן, שיצאו למאבק לביטול המכרז באמצעות הנציגות החרדית בכנסת. בין השאר פורסמו ביום שישי 25 בנובמבר 2016 כתבות חריפות ביומונים החרדים המודיע, המבשר ויתד נאמן כנגד ה'קול קורא'.
בכ"ג בטבת תשע"ט (31 בדצמבר 2018), הונחה אבן היסוד לבנייתו מחדש של בית הכנסת.
ב-26 בינואר 2021 נערכה יציקת רצפת בית הכנסת המשוחזר, בהשתתפות שר הבינוי והשיכון.
סמל דנמרק