Die Felsenfestung wurde im Mittelalter errichtet. Während des Winters der Belagerung von Toulon (1793/94) hielt sich der junge Napoleon Bonaparte dort auf. Napoleon ließ als Erster Konsul der Französischen Republik im Jahr 1799 die Festung mit 23 Kanonen ausrüsten. Im Jahr 1875, vier Jahre nach dem deutsch-französischen Krieg, wurde die Entwaffnung der Festung beschlossen. Während des Ersten Weltkrieges diente die Festung als Kaserne. Ab 1919 diente sie keinen militärischen Zwecken mehr, blieb aber als eine Sehenswürdigkeit erhalten. Nach dem Zweiten Weltkrieg mietete der ehemalige Marineminister Robert Bellanger die Festung als Sommersitz und sanierte sie. Seit 1968, der Präsidentschaft von Charles de Gaulle, dient Fort de Brégançon als ein offizieller Rückzugsort des Präsidenten der Französischen Republik. Die Anlage wurde dementsprechend in Folge moderner ausgestattet. Beispielsweise wurde ein Hubschrauberlandeplatz eingerichtet. Präsident François Mitterrand lud im August 1985 Bundeskanzler Helmut Kohl in die Festung ein. Während des Treffens kamen sich Kohl und Mitterrand näher. Sie vereinbarten die Einrichtung eines sogenannten roten Telefons zwischen Bonn und Paris, um sich dauerhaft ständig abstimmen zu können. Im August 2020 wurde auch die Bundeskanzlerin Angela Merkel zu einem Besuch auf der Insel eingeladen.