I 1933 ble han medlem av Nasjonal Samling, som et av dets første medlemmer. Fermann var en velstående mann på denne tiden og var blant Quislings og NS' sterkeste finansielle støttespillere. På 1930-tallet bygget han opp en betydelig industri- og handelsvirksomhet i Tyskland. Fermann eide blant annet en fabrikk i Burg i det som senere ble Øst-Tyskland.