למרות איומים מתמידים עליה, הוזנחה גיברלטר על ידי שלטון ספרד והביצורים שלה סבלו מעזובה. שודדי ים ברברים מצפון אפריקה ניצלו את ההגנה החלשה עליה, ובספטמבר 1540 ארגנו מתקפה על גיברלטר, שבה נלקחו מאות מתושביה כבני ערובה או כעבדים. הכנסייה של גיברלטר נבזזה וכל חפצי הערך שלה נגנבו. רבים מהשבויים שוחררו לבסוף, כאשר כוח מהצי הספרדי בפיקודו של ברנרדינו דה מנדוזה יירט את הספינות של שודדי הים ליד האי אלבורן. קרל החמישי, מלך ספרד בנה, באיחור אמנם, את חומת קרל החמישי על מנת לשלוט שליטה מלאה בחלקו הדרומי של הצוק, וכן הפקיד את המהנדס האיטלקי ג'ובאני בטיסטה קלבי על חיזוק הביצורים בשאר חלקי האי.
הים באזור גיברלטר הוסיף להיות מסוכן בעשורים הבאים והתקפות של שודדי ים נמשכו; על אף שאסקדרון קטן של הצי הספרדי הקים את בסיסו בגיברלטר להגן מפני שודדי הים, השפעתו הייתה מוגבלת ותושבים רבים נחטפו ונמכרו לעבדים. המצב החמיר עוד יותר כאשר בשנת 1606 גורשו מספרד 600,000 מוריסקים (מורים אנוסים), ורבים מהם עזבו לצפון אפריקה דרך גיברלטר והצטרפו לשודדי הים, אם כעבדים נוצרים או כמוסלמים החוזרים לדתם, והתקיפו שטחים נרחבים יותר ואפילו את קורנוול הבריטית.
לאיום של שודדי הים הברברים נוסף במהרה איום חדש - אויביה של ספרד בצפון אירופה. ב-5 במאי 1607, במהלך מלחמת שמונים השנים, שייטת הולנדית בפיקודו של יקוב ואן הימסקרק התקיפה שייטת ספרדית שעגנה במצר גיברלטר. ההולנדים ניצחו ניצחון מוחץ את השייטת הספרדית בקרב גיברלטר כשאבדותיהם בנפש מעטות מאוד והם לא מאבדים אף לא ספינה אחת, זאת בשעה שהשייטת הספרדית הושמדה ואבדותיה הסתכמו בכ-3,000 איש. בשנת 1609 הכריזו הספרדים וההולנדים על הפסקת אש, אך בשנת 1621 הופרה הפסקת האש כאשר שייטת הולנדית ושייטת דנית הגיעו למצר גיברלטר והתקיפו שייטת ספרדית. זאת הפעם הצליחה השייטת הספרדית להטביע מספר ספינות של ההולנדים ולהניס את השאר.
בסיס בריטי ראשון הוקם בגיברלטר בשנת 1620. הספרדים התירו לצי הבריטי להשתמש בגיברלטר כבסיס לתקיפות נגד שודדי הים שכאמור הרחיבו את מעשי תוקפנותם עד לבריטניה ואירלנד. היו באנגליה מי שרצו להסב את הצי לתקוף דווקא את ספרד, יותר מאשר את שודדי הים. בכל אופן, ג'יימס הראשון, מלך אנגליה התנגד ללחץ הפרלמנט להכריז מלחמה כנגד ספרד והספינות הבריטיות חזרו לבריטניה. צ'ארלס הראשון שעלה על כס המלוכה לאחר מותו של ג'יימס הראשון בשנת 1625, שלח צי בריטי נוסף לאזור גיברלטר כשהוראותיו הן "לתפוס או לבזוז יישוב" בחוף הספרדי. אחת מההצעות שהועלו לגבי מקום התקיפה של הצי הייתה גיברלטר, בטענה שהיא קטנה, ניתן בקלות להשתלט על חיל המצב שלה, לשלוח אליה אספקה ולהגן עליה, וכן היא נמצאת במקום אסטרטגי מעולה. אך במקום זאת, תקף הצי הבריטי בקדיס מתוך מחשבה שהשלל שיבזזו שם יהיה גדול יותר, אבל המתקפה שלהם נחלה כישלון חרוץ. כוח הנחיתה בזז את מרתפי היין של העיר, ולאחר ארבעה ימים של שכרות סולק משם בלא להשיג הישג משמעותי.
עובדת הימצאותם של אויבי ספרד בקרבת מצר גיברלטר הניעה את פליפה הרביעי, מלך ספרד להורות על ביצור גיברלטר וחיזוק כוח ההגנה שלה. שובר גלים חדש ופלטפורמות תותחים חדשות הוקמו, אך היעילות של התותחים הייתה מוגבלת עקב חוסר בתותחנים. העיר גיברלטר הייתה מקום צפוף, חסרת תנאי תברואה בסיסיים, דבר שתרם כנראה להתפרצות מגפה בשנת 1649 - כנראה דבר, אך גם יכול להיות טיפוס המעיים - שגרמה למוות של רבע מאוכלוסיית גיברלטר. הצי הבריטי חזר לגיברלטר בשנים 52–1651 כבעל ברית זמני של ספרד כנגד ספינות צרפתיות והולנדיות ששייטו במצר.
ב-1654 החליט אוליבר קרומוול להפנות את הצי הבריטי כנגד ספרד ולכבוש את האי היספניולה שבאיים הקריביים שהייתה קולוניה ספרדית, ולהקים בסיס בריטי שיאפשר את המשך ההשתלטות על האיים הקריביים. שני כוחות של הצי הבריטי נשלחו: האחד לקריביים והשני למערב הים התיכון, כשמטרתו ליצור רושם שהוא תוקף את שודדי הים. הצי שנשלח לקריביים נכשל במתקפתו על היספניולה אך הצליח במקום זאת לכבוש את ג'מייקה במאי 1655. הצי שנשלח לים התיכון הגיע סמוך לקדיס שם ניסה להכניע שייטת ספרדית נושאת-אוצרות, אך נכשל בכך, ובבוא החורף חזר לאנגליה. בכל מקרה, ספרד לא הכריזה מלחמה על אנגליה עד לפברואר 1656. זמן קצר לאחר מכן הפליג צי המונה 49 אוניות קרב בריטיות מאוישות ב-10,000 מלחים וחיילים באזור מצר גיברלטר וערך סיור מקדים במקום. אף על פי שהכוח הבריטי לא היה מספיק לנחיתה במקום ולא ביצע שום פעולה, הביע אוליבר קרומוול עניין בכיבוש גיברלטר. ב-1693, במהלך מלחמת תשע השנים שבמהלכה ספרד ואנגליה היו בעלי ברית זמניים, שרידיו של אסקדרון ליווי אנגלי-הולנדי בפיקודו של האדמירל סר ג'ורג' רוק, שנס מפני צי צרפתי שדלק אחריו, מצא מקלט בגיברלטר. 11 שנים לאחר מכן יחזור רוק לגיברלטר, אך הפעם על מנת לכבוש אותה.
מלחמת הירושה הספרדית (1701-1714).
ב-1700 מת קרלוס השני, מלך ספרד ללא צאצאים. בעימות הירושה השתתפו פיליפה דוכס אנז'ו מבית בורבון, נכדו של לואי הארבעה עשר, מלך צרפת, וקרל השישי (לאחר שהכריז על עצמו כמלך ספרד, נודע בשם קרלוס השלישי) מבית הבסבורג, ובמהרה הפך עימות זה למלחמה בה היו מעורבות רוב מדינות אירופה. לואי הארבעה עשר תמך בפיליפה; אנגליה, הולנד, אוסטריה, פורטוגל, סבויה וכמה מהמדינות הגרמניות תמכו בקרל השישי, מפני חששם מהתפשטות צרפתית באירופה. קרלוס השני עצמו הוריש את ממלכתו לפליפה, ולאחר מותו הוכרז פליפה כמלך ספרד וכרת ברית עם צרפת. בפברואר שלאחר מכן פרצה מלחמת הירושה הספרדית. במאי 1702 הכריזה אן, מלכת בריטניה מלחמה על ספרד.
ספרד נהפכה על כן לאחת ממטרות התקיפה של הברית האנגלית-הולנדית-אוסטרית, כאשר המתקפות שלהם נערכות הן ביבשה והן בים. המתקפה היבשתית העיקרית נערכה בארצות השפלה על ידי הדוכס ממרלבורו, בשעה שצי בריטי בפיקודו של האדמירל ג'ורג' רוק תקף ספינות ספרדיות וצרפתיות באוקיינוס האטלנטי. ב-1703 מרלבורו תכנן לבצע מתקפת פתע נגד הכוחות הצרפתים ובעלי בריתם הבוואריים בבסיסם ליד הדנובה, כשבאותו הזמן יבצע רוק מתקפת הסחה ימית בים התיכון. רוק קיבל הוראות לתקוף יישובים ספרדיים וצרפתיים לאורך החוף, כאשר בחירת המטרות נתונה לשיקול דעתו.
כשהגיע רוק עם הצי שלו לאזור, מספר מטרות נשקלו כיעד לתקיפה. ניסיון להסית את תושבי ברצלונה להתמרד כנגד פליפה הרביעי לא צלח, ותוכנית לתקיפת בסיס ימי צרפתי ליד טולון ננטשה לבסוף. בחפשו אחר מטרה מתאימה, החליט רוק לתקוף את גיברלטר בגלל שלוש סיבות: חיל המצב שלה היה חלש; גיברלטר תהיה בעלת ערך אסטרטגי ראשון במעלה למאמץ המלחמתי; כמו כן, תפיסתה של גיברלטר אולי תעודד את תושבי דרום ספרד להתמרד כנגד פליפה.
המתקפה על גיברלטר נערכה ב-1 באוגוסט 1704 כמבצע משולב בו נטלו חלק הצי של רוק וכן צי של הולנדים ובריטים בפיקודם של ג'ורג', נסיך הסן-דרמשטט, וקפטן ויטקר ("Whittaker") עם אוניית הקרב מדרגה שלישית אה"מ דורשטייר ("HMS Dorsetshire"). לאחר הפגזה כבידה ב-2 באוגוסט, נעו הכוחות בתנועת מלקחיים לעבר העיר גיברלטר כאשר זרוע אחת נעה דרומה מהמצר וזרוע שנייה נעה צפונה מכף אירופה. למגיני גיברלטר הייתה אספקה של מזון ותחמושת בשפע, אך לעומת זאת היו חסרים בכוח אדם בצורה משמעותית. הספרדים לא יכלו להמשיך להגן עליה, ובבוקרו של 4 באוגוסט נכנע מושל גיברלטר דיאגו דה סלינאס.
תנאי הכניעה (ראו באנגלית את מסמכי הכניעה) הבהירו שגיברלטר נכבשה בשמו של קרלוס השלישי מלך ספרד, הטוען לכתר במלחמת הירושה הספרדית, המתואר במסמכים כ"שליט והמלך החוקי". לתושבים ולחיל המצב של גיברלטר הובטח חופש דת ושמירה על הזכויות שהיו קיימות בידם עד כה אם יחפצו להישאר בגיברלטר, זאת בתנאי שיישבעו שבועת אמונים למלך קרל השישי. אך כפי שאירע בתקיפה הבריטית על קדיס ב-1625, גם כאן המשמעת של החיילים התרופפה; אירעו מספר מקרים של אונס, כל הכנסיות הקתוליות מלבד אחת (הכנסייה הקהילתית
של סנט מרי המלכה, כיום הקתדרלה של סנט מרי המלכה) חוללו או הוסבו למחסנים צבאיים, וסמלים דתיים כמו פסל גבירתנו של אירופה ניזוקו והושמדו. תושבים ספרדיים קתוליים פתחו בפעולות תגמול כנגד הכובשים. חיילים הולנדיים ובריטיים הותקפו ונהרגו, וגופותיהם נזרקו לבארות וביבים.
כשחיל המצב הספרדי יצא מגיברלטר ב-7 באוגוסט, כמעט כל התושבים, קרוב ל-4,000 בסך הכל, הצטרפו אליהם. הייתה להם סיבה להאמין כי גירושם מגיברלטר לא ייארך זמן רב, כיוון שבתקופה זו החליפו מבצרים רבים ידיים בין הצדדים לעיתים קרובות. הם התיישבו בחורבות של אלחסירס או בקרבת המנזר סנטה מריה לה קורונדה ("Santa María la Coronada"; לעתיד העיירה סאן רוקה, בצד הצפוני של מצר גיברלטר). הם לקחו איתם את הרשומות של מועצת העיר וכן את דגל גיברלטר ואת ההרשאה המלכותית של איזבלה הראשונה. ההתיישבות של פליטים אלו התפתחה עם הזמן, ונהייתה לעיירה סאן רוקה.
השליטה של הקונפדרציה על גיברלטר הועמדה למבחן ב-24 באוגוסט כאשר צי צרפתי נכנס למצר. בקרב שהתפתח לאחר מכן (קרב ולז-מלאגה) לשני הצדדים היו אבדות רבות בנפש, אך לא הוטבעו ספינות לאף אחד מן הצדדים, דבר שאיפשר לשני הצדדים לטעון לניצחון בקרב. הצי הצרפתי נסוג לטולון בלא לנסות לכבוש את גיברלטר. בתחילת ספטמבר הגיע כוח צרפתי-ספרדי סמוך לגיברלטר והתכונן להטיל עליה מצור, אותו הם התחילו ב-9 באוקטובר. קרוב ל-7,000 חיילים ספרדים וצרפתים, אליהם הצטרפו פליטים מגיברלטר צרו על כ-2,000 מגינים בריטים והולנדים וספרדים נאמנים לקרל השישי.