В 1935 г. Фер был изгнан из Академии, в 1936 г. был вынужден подать в отставку с поста первого председателя Германского молочного союза. В 1944 г. он был арестован после провала Заговора 20 июля вместе с Отто Гесслером и Андреасом Гермесом, содержался под арестом сперва в замке Ахберг, затем в Берлине и наконец в концлагере Равенсбрюк.