ألفونسو دي ألبوكيرك
بنيت القلعة سنة 1507، بأمر من ألفونسو دي ألبوكيرك، الذي كانت قواته قد استولت على الجزيرة لفترة وجيزة، وشارك في بنائها جميع رجال القوة العسكرية البرتغالية على اختلاف رتبهم، مما أحدث تذمرًا بينهم. كانت القلعة في البداية مفصولة عن بقية الجزيرة بخندق، وقد سميت عند إنشائها "قلعة سيدة النصر" (بالبرتغالية: Forte de Nossa Senhora da Vitória)، غير أن اسمها تغير لاحقًا إلى "قلعة سيدة الحمل". وقد تمكن شاه فارس الصفوي عباس الأول ـ الذي كان يسعى لإنهاء النفوذ البرتغالي في جنوب بلاده ـ من إقناع شركة الهند الشرقية الإنجليزية من دعم قواته البرية بسفنها من البحر، لينجح في الاستيلاء على الجزيرة من أيدي البرتغاليين سنة 1622.