Etter et opphold i Danmark kom han i 1924 til Danzig som ansatt for Det Bergenske Dampskibsselskab, ble deretter leder for et amerikansk transportselskap, og var utstasjonert blant annet i Hamburg, Wien, Zürich og Berlin. Han traff Heinrich Himmler i 1927-1928 under et jaktselskap på godseier Werner Lorenz´eiendom Mariensee i nærheten av Danzig. Lorenz var leder for SS i Danzig, og hans søster, Erika Lorenz, var Himmlers privatsekretær. Lorenz flyttet etterhvert til Berlin hvor Fermann møtte Himmler ved flere anledninger. Himmlers tiltro til Fermann hadde sammenheng med deres felles vennskap med familien Lorenz og interesse for nordisk-germansk tradisjon og fortid.