I 1940 var Fermann bosatt i Tyskland, men han hadde lenge gått med planer om etablering av et selskap for kullimport. Dette skulle gjøres i samarbeid med Deutsches Kohlendepot. Sjursøya Kull og Koks A/S ble kjøpt og tomt på Sjursøya leid av Havnevesenet. Allerede 25. april 1940 reiste han til Berlin for møte med ministerialdirektør dr. Sarnow i det tyske handelsdepartementet, og la her grunnlag for et nært økonomisk samarbeid med tyske myndigheter. På forsommeren 1940 flyttet han med sin familie fra Tyskland til Norge og inngikk i 1941 en avtale med den tyske Armee-Oberkommando om import og leveranser av all sement fra Tyskland til Norge for bygging av Festung Norwegen. For gjennomføring av dette tok Fermann initiativ til samarbeid med den bergenske forretningsmannen Thomas S. Falck, direktør i Det Bergenske Dampskibsselskab. I 1942 trådte han også inn i styret til Det Tyske Handelskammer.