Der Hafen hat seinen Namen von einem Waffenlager (franz. „arsenal“), das dort zwischen dem 16. und 18. Jahrhundert lag. Charles V. ließ hier im Oktober 1356 – einen Monat nach der Schlacht von Poitiers – die südliche Stadtmauer reparieren und einen tiefen Verteidigungsgraben anlegen. Die Arbeiten wurden erst unter Charles VI. im Jahr 1420 beendet. Im Plan de Turgot aus dem Jahr 1739 führte an der Stadtmauer ein ummauerter baumbestandener Weg am "Petit Arcenal" vorbei, der seinewärts zum "Grand Arcenal" führte. Nach Abriss der nahegelegenen Bastille nach dem 16. Juli 1789 entstand an dieser Stelle eine Baulücke, die bis zur Eröffnung der Place de la Bastille am 27. Juni 1792 blieb.