Konstruksjonen av militæranlegget, i hovedsak som forsvar mot Storbritannia, begynte tiden 1631–1635. I 1674 ble det bygget kruttmagasiner og et militært sykehus. I 1865 ble havnen stengt for kommersiell trafikk og omgjort til utelukkende en militær havn. Under den fransk-prøyssiske krig (1870–1871) ble Frankrikes berømte maleri flyttet fra Louvre og til Arsenal de Brest for trygg oppbevaring.