In der Zeit des Nationalsozialismus wurde das Unternehmen Hermann Tietz 1933/1934 „arisiert“. Zwillenberg schied im Juli 1933 aus der Geschäftsleitung und Ende 1934 ganz aus dem Unternehmen aus. In den Folgejahren kontrollierte er verschiedene Fabrikationsbetriebe, an denen er maßgeblich beteiligt war; sein Hauptaugenmerk galt allerdings der Verwaltung seines Guts, des Dominiums Linde mit 1500 Hektar im Kreis Westhavelland. Auf diesem war er schon vorher in seiner Freizeit als Landwirt tätig gewesen. Seine beiden ebenfalls aus dem Unternehmen ausgeschiedenen Schwäger Georg und Martin Tietz hatten die Staatsbürgerschaft des Fürstentums Liechtenstein angenommen und gelangten in der Folge auf Umwegen über Kuba in die Vereinigten Staaten. In der „Reichskristallnacht“ wurde Zwillenberg am 9. November 1938 von der Gestapo in seinem Berliner Büro verhaftet und tags darauf ins KZ Sachsenhausen verbracht, aus dem er am 26. November wieder entlassen wurde. Am 9. März 1939 emigrierte er mit seiner Familie in die Niederlande.