१७ व्या शतकाच्या सुरुवातीच्या काळात ब्रिटीशांनी वरळी हिलवरील किल्ला बांधला होता, जरी कधीकधी चुकून पोर्तुगीजांना जबाबदार धरले जात असे. जेव्हा शहरात फक्त सात बेटे होती तेव्हा वरळी फोर्टने महिम बेकडे टक लावून पाहिले. किल्ल्याने पायरेट्स आणि प्रतिकूल जहाजांसाठी टेहळणी बुरूज म्हणून काम केले.