L'existence du fort a été mentionnée pour la première fois lorsque Calais a été assiégée par les Anglais en novembre 1346 lors du siège de Calais. Les troupes d'Édouard III, trouvant les défenses de Calais impénétrables, décident d'ériger un petit fort pour empêcher tout approvisionnement d'atteindre la ville par la mer, en vue de faire mourir de faim les habitants. Sous l'occupation anglaise, la tour en bois a été remplacée par une structure en pierre, la Stone Tower, après 1400 rebaptisée Lancaster Tower, un nom souvent donné au fort lui-même.