Von März bis Mai 1942 erfolgte Fahrmbachers Versetzung in die Führerreserve des Oberkommandos des Heeres. Anschließend wurde ihm das XXV. Armeekorps in Frankreich unterstellt. Kurz nach Beginn der alliierten Operation Overlord bekam er am 10. Juni 1944 das Kommando über die Armeegruppe Normandie, das er aber schon am 1. August wieder abgab, um Befehlshaber der deutschen Einheiten in der Bretagne zu werden. Nachdem die Alliierten die Schlacht um die Bretagne eröffnet hatten und in schnellem Tempo versuchten die Atlantikhäfen zu erreichen, musste sich General Fahrmbacher mit seinen Truppen nach Lorient zurückziehen, dessen Umgebung am 9. August von der 4. US-Panzerdivision erreicht wurde. Hitler hatte die Atlantikhäfen zur Festung erklärt, die bis zum letzten Mann verteidigt werden sollten. Fahrmbacher, der nun keinerlei Handlungsmöglichkeiten hinsichtlich der Verteidigung der Bretagne mehr hatte, da Lorient genau wie Brest und St. Nazaire von den Amerikanern eingekesselt war, beschränkte sich als Festungskommandant auf Widerstand gegen die Einnahme der Stadt. Fahrmbacher kapitulierte am 10. Mai 1945, zwei Tage nach der deutschen Gesamtkapitulation, mit 10.000 Mann gegenüber den Amerikanern. Anschließend kam er zunächst in US-amerikanische, dann in französische Kriegsgefangenschaft, aus der er am 10. August 1950 entlassen wurde.