עם כיבוש גיברלטר בידי הבריטים ב-4 באוגוסט 1704 נבזזה הכנסייה שוב, ופסל המדונה והילד הושלך אל הים מסלע סמוך. הפסל העשוי עץ, צף ונמצא על ידי דייג שמסרו לאיש כנסייה. זה הביאו לאלחסירס למשמר, ובגיברלטר הוכן העתק של הפסל. ההעתק נשמר בדרך כלל בקתדרלה הקתולית של גיברלטר, ואילו המקור הושב מאלחסירס רק ב-1864. המבנה עצמו חדל מלשמש כבית תפילה, ובעת המצור הגדול על גיברלטר, בין השנים 1779-1783, ניזוק והמבנים שהוסיפו לו הספרדים נהרסו. הוא הפך למחסן צבאי שהוקף במבנים צבאיים, ולאחר מכן לחדר המשמר ולידו פינת הלקאה. ב-1928 הפך המבנה לספרייה וב-1939 לחנות. ב-1959 החליט הצבא הבריטי כי שוב אין לו צורך במבנה וביקש להורסו. עם זאת, ערכו ההיסטורי של המבנה הוכר ושחזורו החל ב-1962. ב-7 באוקטובר 1968 הוחזר הפסל המקורי של המדונה והילד אל הכנסייה. עבודות שחזור נוספות נערכו ב-1973 - המבנה הורחב, והוקמו בו מזבח חדש וכן שישא את הפסל. ב-1979 אישר האפיפיור יוחנן פאולוס השני באופן רשמי את התואר "גבירתנו מאירופה" כקדושה מגנה של גיברלטר, וקבע את יום חגה ב-5 במאי, הוא יום היווסדה של מועצת אירופה (אחד משני "ימי אירופה"). לפי תוכניות מ-1995 עבר המבנה שחזור מקיף ולצידו הוקם מגדל פעמונים.