ブレスト城
起源
この地は前期旧石器時代（紀元前30万年ごろ）には人が居住しており、新石器時代の頃には農業がおこなわれていた。他の沿岸部での居住は紀元前6世紀と4世紀とみられ、鉄器時代の終わりまで岩の尾根を占拠していた。その卓越した地位から、先史時代には要塞を立てていたと推測されているが、証拠が残っている最初の要塞はローマ時代からのものである。
紀元前500年頃、オシスミイ族の航海士と商人が訪れた。ブレスト周辺から彼らが使用していた金貨が発見され、ローマ時代前に来たことが判った。部族の領土（今日のフィニステール県とほぼ同じ）はVorgiumを首都とし、南のウェネティ族、東のコリオソリテス族と国境が接していた。この世界の果て（ラテン語でfinibus terræ：フィニステール県の語源）は、ローマ時代の非常に遅くに占拠されたとだけ記されている。
ローマ時代
発掘されたローマの硬貨から、ローマ人は少なくとも皇帝セプティミウス・セウェルス（193-211年）の治世下の頃には居たようである。ローマのアルモリカ州はサクソン人の襲撃に備え、この地域を支配する為に海岸線とブレストに砦を作る必要に迫られた。
ローマ人は3世紀末に防衛任務を開始した。このキャンプやカステッラムには、長官によって率いられた1000人の兵士と、海賊船の襲撃に対抗する船舶が常駐した。それらに使われた壁も城に一部残っている。10個の円筒形の塔を備えた厚さ 4 m の壁は、尾根の向こう側に防衛戦を構築した。城の内側にローマ時代の遺跡がないことから、純粋に防衛用に作られたもので、市民用のオッピドゥムではないことが示唆されている。
ローマ時代の治世が短命だったため、これらの壁は未完成となったようである。この時代の海岸は単に堀と矢来によって守られていた可能性がある。
古代ブレストはおそらくローマ人には、アルモリカの道の終点 Gesoscribate として知られていたようである。
ブルターニュ公国レオン伯爵
ローマとの決別（410-420年）から11世紀まで、ブレストのカステッラムの歴史はほとんど知られていない。ローマ時代の囲いの下に町が発展し、ブルターニュ公国レオン伯爵家の領地となり砦は残された。537年、Elven伯爵はブレストを宮廷とした。彼の娘 Azénor は伝説となった女性で、城の塔の名前にもなっている。
1064年か1065年頃、ブルターニュ公コナン2世（もしくは、レオン伯爵家のLéon Morvan II）は、城の改築を命じ、城の周りに堀を作り、天守（おそらく城の北の角の物）、城内にノートル・ダム・ド・ピティエ教会 （"Notre Dame de Pitié"、1819年に破壊された）を建てた。
1167-1179年、レオン伯爵Guihomar IIIは自治権と特権を保持するために、ブルターニュ公に反乱を起こしたが多くの城は破壊され、接収された。
1240年、城はブルターニュ公ジャン1世に渡り、公国の防衛に欠かせない拠点となった。レオン伯爵家の抵抗はジャン2世（1239 - 1305年）治世頃まで続いた。
城はノルマン人に対しては無敗のままであった。この期間中に、セザール塔が（おそらくガリア-ローマ塔の廃墟の上に）建てられた。それは岩礁へ行こうとするものを防止した。azenor塔が建てられたのも、この頃である。
ブルターニュ公爵
城下町は拡大し、城は縮小した。早期の城下町の2つのうち1つは、川の右土手（Recouvrance、現在はタンギータワーと呼ばれるものの周辺）で、もう一つは城（左の土手）の目の前にあるより大きな城壁に広がった。
フランス王国国王フィリップ4世はジャン2世をフランス貴族としたが、ジャンはその後死亡した。それから2代後のジャン3世が亡くなった後に後継者を指定しなかったことから、ブルターニュ継承戦争が勃発、ブレストの海戦や攻城戦が行われた。
1365年4月12日のゲランド条約でジャン4世がブルターニュ公であることを認められた。しかし、戦争中にイングランドの大きな支援を受けていたことから、ブレストなどがイングランドの管理下に置かれていた。その状況を快く思わない者たちが反乱、そしてフランス王シャルル5世も攻撃に参加したため、ジャン4世はイングランドに亡命した。
シャルル5世が亡くなると、ジャン4世と共にブルトン人が反乱を起こし、1386年にブレスト城の攻城戦が行われた。シャルル6世と和解し臣従すると、ジャン4世は平和理に公国を治めた。Mesguéant領主Jean Periouが、ブレスト城の指揮官となり、ブルターニュの船が再びその下に停泊した。ジャン4世は「彼はブレストの主人ではないブルターニュの主ではない」と述べ、2年間だけ城を占領し、1399年11月2日に亡くなった。
町は非常にゆっくりと発展し、城の外周は西に向かって拡大した。防衛された入口は、たぶん木製の歩道とタワーの"châtelet"（シャトレ、「砦」の意）によって増強された。
公爵城
1403年に戦争が勃発した。城の損害で、港と街が整った時代である。この戦いで、二つの土手が次々と攻撃された。
15世紀に、城の指揮官ら（the comte de Languevez, 1405 - Éon Phelips, 1407 - Tanguy de Kermorvan, 1424) は、城を修復し、攻城兵器に対抗できるようにした。他の要塞都市と同様に、公爵は、より安全に、より快適にブレストで過ごせるよう要塞化された邸宅を建造した。彼は、さらに台所や、宿泊所、教会や塔を建築した。塔の間はカーテンウォールで接続され、真に「閉じられた都市」堅牢な城が形作られた。
女公爵アンヌ・ド・ブルターニュ
ブルターニュ公位継承権者ロアン子爵がブルターニュのガンガンを1489年1月10日に占領したことから、フランス王シャルル8世の目はブルターニュ公国に向けられた。ブレストへの危惧から、ブルターニュ女公爵アンヌはブレストを強化するようKérousy領主に通達したが、ロアン子爵に城門は開かれた（疑いようも無く指揮官の裏切りによるもの）。
アンヌは前任者のように、当初イングランドと同盟した。新アングロ=ブルトン同盟は海上を封鎖する22隻の船舶と高錬度の陸軍を率いコンカルノーとブレストをイングランド王ヘンリー7世の手元に戻した。しかし、フランスの強力な部隊は城を再び攻城戦で取り戻し、イングランドの艦隊と陸軍は撤退した。
城がフランス王国の支配下であることを示すため、シャルル8世はフランスの紋章をブレスト城の正門ラベリンの門に掲げるよう命じた。 女公爵アンヌは、1491年12月6日にシャルル8世と政略結婚、しかしそのシャルル8世がうっかり鴨居に頭をぶつけ亡くなったため、1499年1月17日に後任のフランス王ルイ12世が政略結婚を引き継ぎ、城はフランス王室の統治下に組み込まれた。
女王アンヌの時代
15世紀の大砲に対抗する為、カーテンウォールの厚みを増やすなどの改装、マドレーヌ塔、パラディ塔、入口を強化する為logis-portなどの建設が行われた。要塞はモダンで広々とした邸宅に改装されたものの、兵士500人、大砲50門を含む火器100基が備えられていた。貿易ルートから外れていたため、賑わいは落ち着いており、港には軍艦は無かった。
カトリック同盟
フランスでは、ユグノー戦争が勃発、ユグノーの盟主フランス王アンリ4世に対するカトリック同盟がブルターニュなどのカトリックの影響が強い地域で暴動を起こしていた。国王軍がクランで敗退したが、イングランドはフランスを支援するため軍を送り優勢を取り戻した。
1594年11月、妻が旧ブルターニュ公爵家の出であることからブルターニュの統治権を求め、カトリック同盟の指導者メルクール公フィリップがスペイン軍の助力を得てブレストを襲った。ブレストの海上補給を封鎖する場所に砦が築かれたが、イングランドの助勢を受け1594年11月18日に陥落させた。
ヴォーバンによる築城
1631年、フランスに強力な海軍をもたらしたいと枢機卿リシュリューはブレストで仕事を始めた。この時代から軍事港として整えられた。海軍大臣コルベールや築城家セバスティアン・ル・プレストル・ド・ヴォーバンらの尽力でブレストの街と城塞は急速に発展した。城塞は外洋、都市、周囲を見下ろす城塞となり、これ以降の改築は行われなかった。
第二次世界大戦
ブレストは1940年6月19日にドイツの手に落ち、要塞は彼らの軍隊によって占領され、パラディ塔は再び収容所となった。1931年に海から埋立地を掘り返し、崖と城をアクセスできる地下作業所が作られた。
D-Day後、ドイツ軍はフランスから退去したが、「ブレスト要塞」はドイツ軍のラムケ将軍が指揮を執り、第2降下猟兵師団らドイツレジスタンスの孤立地帯の一つとなった。1944年8月、連合軍はブレストの城壁の前に到着した。市民は8月7日に避難勧告を受けた。8月14日、襲撃準備のための砲撃にさらされた。25日、ラムケはレジスタンスに徹底抗戦を命じた。
城は9月2日の午後から再び砲撃され、次の日には point National が破壊された。町の包囲は43日間続き、最終的には9月18日にミドルトン将軍指揮下の連合軍の手に落ちた。
現在
残った建物は1945年にフランス海軍に譲渡され、第2地域鎮守府と大西洋司令部を収容するために城全体の修復が始まった。ドイツ軍が作った地下作業所は、大西洋部隊と戦略海洋部隊の司令部となった。
海軍司令部は、1797年9月23日以来、オテル・サン・ピエールであった。新しいセントラル・ビルは、建築家NiermansとGutbによってデザインされ、1953年に完成し使用されている。
一部は、フランスに5つある海軍博物館の一つ、ブレスト海軍博物館として公開されている。