לאור נסיבות התקופה, הייתה כלכלתה של הקהילה האשכנזית בירושלים מבוססת על תרומות מיהודי אירופה. אולם בגלל המשברים השונים שפקדו את יהודי אירופה במאה ה-17 הקהילה נאלצה ללוות כספים מהתושבים הערבים המקומיים כדי להמשיך להתקיים. בשנת 1692 התמוטט בית הכנסת הישן שעמד בחצר והקהילה היהודית לקחה הלוואות נוספות כדי לבנות אותו מחדש. הבנייה הסתיימה בראשית שנת 1700. לאחר סיום הבנייה מחדש, חזרה הקהילה האשכנזית להתפלל בבית הכנסת. יש הטוענים שטעות נפוצה, נקשרה בשם בית הכנסת, בדבר הייחוס של בניית בניין זה לחבורת רבי יהודה החסיד משדליץ שבפולין, אשר נחשבה לעלייה הגדולה בשעתו. אך למעשה, אלה עלו רק ב-14 באוקטובר 1700, יותר מחצי שנה לאחר סיום שיפוץ בית הכנסת הגם שמסע עלייתם רב ההד ערך 3 שנים ובשיאו כלל 1500 איש. עם זאת, יש יסוד סביר להניח שקשירת שמו של רבי יהודה החסיד בבית הכנסת קשורה בתרומות לטובת המבנה, שהביא איתו בעת עלייתו, או לכל הפחות הבטיח להביא כשעמד לעלות. יכול להיות גם שהדבר קשור במותו המוקדם שאירע רק שישה ימים בלבד לאחר הגעתו לירושלים.
למרות שגורלם של בני הקבוצה היה רע ומר, יכול להיות שהם גם היו מעורבים בניסיונות השימור של בית הכנסת והם, לדוגמה, שלחו את אחד מראשיהם, גדליה הלוי מסמיאטיץ, אל הגולה לאיסוף כספים להצלה מהחובות הגדולים אליהם נקלעו. גדליה הדפיס בברלין 1716 ספר בשם "שאלו שלום ירושלים" בו גולל את פרשת העלייה על מנת לגייס כספים. מאמצי הגיוס הניבו סכום של 25,000 רייכס טאלר, אולם בח' בחשוון ה'תפ"א (נובמבר 1720) פקעה סבלנותם של הנושים המוסלמים, הם הציתו את החצר והרסו אותה עד היסוד. כל היהודים האשכנזים גורשו מירושלים ונאסר עליהם לשוב אליה. האיסור היה בתוקף כ־100 שנים. בעקבות כך נאלצו האשכנזים שהתעקשו לגור בירושלים להתחזות לספרדים, כפי שהעיד ר' משה הירושלמי:
החצר נותרה בחורבנה והתפרסמה בכינויה "חצר חורבת רבי יהודה החסיד" או בקיצור "החורבה". הכספים שנאספו נותרו באירופה והופקדו למשמרת בידי שמשון ורטהיימר, יהודי החצר של הקייזר קרל השישי. לאחר מותו של שמשון (ב־1724) הפקיד בנו, וולף ורטהיימר את הכספים בידי הקייזר, שם נוהלו הכספים ב"קרן הירושלמית", עד לנפילת בית הבסבורג ב-1804.
בית הכנסת השלישי.
במהלך המאה ה-19 חזרו היהודים האשכנזים להתגורר בירושלים בעקבות עליית תלמידי הגר"א. עקב חזרתם לעיר והתגבשותה של עדת הפרושים התעוררה היוזמה לחדש את בניית בית הכנסת, כאשר בראש המאמצים עמדו רב הקהילה הפרושית, רבי מנחם מנדל משקלוב תלמידו של הגאון מווילנה, שהיה גזבר הקהילה וטרח בהשגת רישיונות הבנייה ותשלום החובות העתיקים הכרוכים בחצר.
בראשית ה'תקצ"ז (1837) הושג רישיון הבנייה המלכותי ('פירמאן') ממוחמד עלי (שליט מצרים) לבנייתו מחדש של בית הכנסת. שנה קודם נחנך במקום בית הכנסת מנחם ציון שנוסד על ידי רבי אברהם שלמה זלמן צורף, והיה לבית הכנסת האשכנזי הראשון בירושלים בעת החדשה.
יוסף אמזלג, היהודי העשיר ביותר בירושלים, תרם כסף בשביל הבניין וקנה בשנות ה-30 חדר לתלמוד תורה בבית הכנסת, שבחזיתו הייתה אבן שציינה את נדבנותו. החדר הוקדש לזכר בנו, יצחק דוד.
ביולי 1855 ביקר משה מונטיפיורי בירושלים ומסר לקונסול הבריטי, ג'יימס פין, את פירמאן הסולטן לבניית בית הכנסת "החורבה". לאחר מכן הוצג מונטיפיורי עם תעודותיו לפני הפחה באופן רשמי, וזה נעמד כאשר הפירמאן הוקרא בקול על ידי המזכיר הרשמי, ובסוף הקריאה הצדיע לו.
עיכובים כספיים שונים גרמו לכך שרק בי"ז בניסן תרי"ז (1857) החלה בנייתו של בית הכנסת פעם נוספת, בחסותם של מונטיפיורי ושל הברון אלפונס, אחיו של אדמונד ממשפחת רוטשילד. עקב כך שמו הרשמי של בית הכנסת נקרא 'בית יעקב', על שם אבי הברון, ג'יימס יעקב.
האיש שהיה אחראי על הבנייה הפיזית של בית הכנסת היה זאב וולפנזון שפעל בכמה תפקידים: הן כמפקח וגזבר ההוצאות וההכנסות על הבניין, והן כמנהל העבודה הראשי על בניית בית הכנסת הגדול מתחילת הבנייה ועד סופה. לבניין נאספו תרומות רבות בישראל ומחוצה לה, חלקן הגדול נאסף בידי זאב עצמו בפעילותו המגוונת כשד"ר. כל פעילותו להקמת בית הכנסת במשך כ־8 שנים נעשתה בהתנדבות וללא קבלת תמורה כספית (הערכתו של החוקר לונץ שעבר על פנקסו של וולפזון). עם זאת, סבל רבות ביחד עם שותפו יוסף יואל ריבלין מתלונות על ניהול כספי לקוי של הבנייה מצד נרגנים. בשנת 1859 נשלח כשד"ר להודו ולאוסטרליה יעקב ספיר, על-מנת לגייס כספים נוספים לבניית בית הכנסת. פעילים בבניה היו גם ר' הלל שרלין ור' אליהו שלמה זלמן בסאן. האחרון אף עשה זאת תוך סיכון חייו וגם נפצע בהתנפלות ערבים.
לאחר הקמת בית הכנסת, אולם בטרם הוגבהו קירותיו עד לגובה בו הוצבה מאוחר יותר כיפתו, נערכה בו תפילת-הודיה לאות הכרת תודה לממשלת בריטניה על עזרתה בקבלת האישור להקמתו. הקונסול הבריטי, ג'יימס פין, הוזמן לתפילה והושב אל שולחן בין בימת הקריאה לארון הקודש. התפילה הראשונה בבית הכנסת הייתה תפילת "הנותן תשועה למלכים", תפילה המתייחסת בדרך כלל לשליט האזור שבו היא נאמרת, אולם השמות שנזכרו בה היו של ויקטוריה, מלכת הממלכה המאוחדת ומשפחתה, ולא שמו של הסולטאן העות'מאני שהיה שליט האימפריה העות'מאנית והארץ באותה עת. לאחר מכן באה תפילה לחיי הקונסול ומשפחתו. לאחר התפילות הושרו זמירות בעברית ובהן מזמורי תהילים והפיוט "אדון עולם". לאחר הטקס הדתי, הוגש כיבוד ונוגנה מוזיקה על ידי קלרינט ותוף. הקונסול הבריטי כתב בספרו: "וכך ערכו היהודים, כמוהם כשאר העדות, תפילה פומבית מלווה מצהלות. אכן, חידוש היה זה בירושלים שככה יוכלו לזקוף ראשיהם ולהקים בית כנסת שייראה בעיר כולה ובארץ למרחוק".
אחד התורמים הגדולים ביותר להקמת בית הכנסת החורבה היה יהודי מבגדאד בשם יחזקאל ראובן. מעל פתחו של אולם התפילה הייתה קבועה כתובת ששבחה את יחזקאל ראובן על שתרם "יותר מחצי גוף הבניין מכסף הנדבה הזאת".
בכ"ד באלול תרכ"ד (1864) נחנך בשנית בית כנסת במבנה גדול ומפואר שנקרא "בית הכנסת בית יעקב בחצר חורבת רבי יהודה החסיד", אך שמו העממי לדורות השתמר כ"בית הכנסת החורבה".
באותו היום הייתה שמחה גדולה בקרב יהודי ירושלים, וכפי שמתאר זאת יוסף ריבלין בעיתון המגיד:
בתהלוכה השתתפו ר' משה יהודה לייב זילברברג בעל ה"זית רענן", ר' מאיר אוירבך בעל ה"אמרי בינה", ר' יוסף זונדל מסלנט ועוד מגדולי ירושלים.
בבית כנסת זה ובמבנים הצמודים לו שכנו אחדים מן המוסדות החשובים של עדת האשכנזים ה"פרושים" בירושלים, ביניהם: בית הדין, בית מדרש ותלמוד תורה עץ חיים.
תשעה חודשים לאחר פתיחת שערי בית הכנסת, הובא ארון קודש ענק ומפואר, ששימש לפני כן במשך כשתים עשרה שנים בקהילת חרסון.
בשנת 1901, עם פטירתה של ויקטוריה, מלכת הממלכה המאוחדת, נשא עליה אפרים כהן-רייס הספד בבית הכנסת, במעמד הקונסול האנגלי והמושבה האנגלית בירושלים. הספד זה, שכהן-רייס עמד על כך שלפני הקראתו באנגלית, ייאמר מתחילה בעברית, היה הנאום העברי הראשון בבית כנסת זה.
בבית הכנסת היו שמורים דגלי הגדודים העבריים שליוו את חיילי הגדודים העבריים בכיבוש ארץ ישראל ועבר הירדן המזרחי. בתקופת המנדט הבריטי כיהן כנשיא בית הכנסת הרב הראשי הרב קוק, ובמסגרת תפקיד זה נשא חלק מדרשותיו המפורסמות בבית כנסת זה. בשנת 1920, בשבת נחמו, התפלל בבית הכנסת הנציב העליון הראשון, הרברט סמואל. הייתה זו השבת הראשונה בה שהה בארץ ישראל, והוא התכבד בעליית מפטיר וקריאת ברכות ההפטרה.
בשנת 1933, בעת שהותו בארץ לרגל צילום סרט אודות מסעותיו בארץ הקודש, ביקר בבית הכנסת החזן הנודע יוסף (יוסל׳ה) רוזנבלט, והוביל את התפילה לצדו של הרב קוק. בדיעבד, הייתה זו הופעתו המוזיקלית האחרונה של רוזנבלט, ימים ספורים לפני מותו הפתאומי מדום לב.
בשנת 1942 בנה האצ"ל סליק מתחת לארון הקודש, כחלק מתוכנית האצ"ל למלחמה כנגד כיבוש גרמני אפשרי של ארץ ישראל במלחמת העולם השנייה. הסליק התגלה רק במהלך העבודות לשיקום "החורבה" בראשית המאה ה-21, מגיני הרובע בתש"ח לא היו מודעים לקיומו, ולאנשי האצ"ל שידעו על הסליק לא הייתה דרך להעביר מידע זה למגינים באותה עת.
בסוף 1942, לאחר שפורסמו בארץ ישראל הידיעות הרשמיות על רצח יהודי פולין כונסה עצרת זעקה ותפילה בבית הכנסת בהשתתפות מאות רבנים ומתפללים.
תיאור מבנה בית הכנסת השלישי.
את התכנון למבנה השלישי עשה האדריכל הטורקי אסעד אפנדי. אפנדי הגיע לירושלים לשם עבודות שיפוץ ותחזוקה במסגדי הר הבית בשנת 1856, ובזמן שהותו בירושלים הכין גם את תוכנית בית הכנסת. בית הכנסת תוכנן בסגנון אדריכלי המכונה נאו-ביזנטי, שאפיין רבים ממבני הציבור והדת באימפריה העות'מאנית .
מבנה בית הכנסת כלל ארבעה מגדלים רבועים בפינותיו, וביניהם ארבע קשתות בגובה 16 מטרים אשר תמכו בכיפה שהתנשאה מעליהן. מעל לקשתות התנשא בסיס הכיפה המעוגל ובו שנים עשר חלונות לכל רוחות השמים, ועליו הכיפה שהייתה מצוירת בצבע כחול כהה ומעוטרת בכוכבי זהב. גובהו הכולל של בית הכנסת עד לקצה כיפתו היה 24 מטרים.