Nach der Landung der Alliierten in der Normandie wurde die Division in die Bretagne verschoben und mit der Verteidigung der Festung Brest während der Schlacht um die Bretagne beauftragt. Im Januar 1944 hatte Hitler alle wichtigen Hafenstädte im Westen – so auch Brest – zu „Festungen“ erklärt – eine vor allem symbolische Handlung. Am 11. August wurde Ramcke zum Festungskommandanten ernannt. In der Festung befanden sich außer der 2. Fallschirmjäger-Division noch die 266. und 343. Infanterie-Division und Truppen des Seekommandanten. 40.000 Deutsche verteidigten die Stadt Brest und den kriegswichtigen Hafen gegen eine amerikanische Panzerdivision, mehrere Artilleriebrigaden und eine Armada von Bombern und Jagdbombern. Für die Verteidigung Brests wurden Ramcke am 19. September 1944 sowohl die Schwerter wie auch die Brillanten zum Ritterkreuz verliehen. Diese außergewöhnliche Doppelverleihung erhielt er in Anerkennung seiner vermeintlich großen Verdienste um die Verteidigung von Brest und auch, um genügend „Abstand“ herzustellen zu den ihm unterstehenden Offizieren (Konteradmiral Otto Kähler, Generalmajor Hans von der Mosel, der das Eichenlaub erhielt, und Generalmajor Hans Kroh, der mit den Schwertern zum Eichenlaub des Ritterkreuzes ausgezeichnet wurde). Außerdem wurde Ramcke mit Wirkung vom 1. September 1944 zum General der Fallschirmtruppe befördert.