1937 musste Joseph Heymann mit seiner Familie von Köln nach England emigrieren. Schaefler selbst erlebte als expressionistischer Künstler die Beschlagnahmung und Entfernung seiner Werke aus deutschen Museen, 1937 wurden Arbeiten von ihm in der Ausstellung „Entartete Kunst“ in München gezeigt. Die schwer an MS erkrankte Vera Schaefler nahm sich 1938 unter dem Eindruck der nahenden Euthanasie das Leben. 1943 heiratete Schaefler ein zweites Mal (Elisabeth Höffken) und verbrachte die letzten Kriegsmonate während der Bombenangriffe auf Köln im Bergischen Land. Nach Kriegsende kehrt er wieder nach Köln zurück und erhielt vereinzelt Aufträge für kirchliche und profane Bauten.