1927 wurde er Polizeipräsident von Krefeld. Aus diesem Amt wurde er 1933 aus politischen Gründen entlassen. Elfes schlug sich in der Zeit des Nationalsozialismus als Zigarrenhändler und später als Handelsvertreter im Lebensmittelbereich durch. Er hatte Kontakt zu den Attentätern vom 20. Juli 1944 und wurde nach dem Attentat zeitweilig inhaftiert. Danach verbarg er sich fünf Monate lang im Pfarrhaus von St. Tönis. Dort interviewte ihn im Februar oder März 1945 der amerikanische Geheimdienstoffizier Saul K. Padover und berichtete 1946 in seinem autobiographischen Werk "Experiment in Germany" über die Begegnung.