Ferche blieb auch nach der Kapitulation der „Festung Breslau“ nach der Schlacht um Breslau in der Stadt und übte seine bischöflichen Funktionen weiter aus. Am 15. September 1946 wurde er, da ganz Schlesien an Polen gefallen war, ausgewiesen und ging zunächst in die Sowjetische Besatzungszone. Anschließend fand er im Erzbistum Köln Aufnahme, zu dessen Weihbischof er am 27. März 1947 ernannt und kurz darauf auch in das Kölner Domkapitel berufen wurde.