Het huidige Fort Sint-Marie II werd gebouwd op dezelfde plaats en deels op de resten van het eerste Fort Sint-Marie. In 1584, tijdens het Beleg van Antwerpen (1584-1585) gedurende de Tachtigjarige Oorlog (1568-1648), wou Farnese een bruggenhoofd op de linkeroever. De bouwheer was de opperbevelhebber van de Spaanse troepen, veldheer Robert de Melun, markies van Roubaix. De markies sneuvelde in april 1585 door de ontploffing van een Antwerps kruitschip aan de ponton over de Schelde.