Il est renvoyé de l'Académie lors de l'annexion de l'Autriche à l'Allemagne en 1938, et ses journaux et documents sont saisis ; Holzmeister se trouvait alors en Turquie, où il reste en exil jusqu'en 1954. Il divorce en 1939 et épouse Gunda Lexer, qui lui donnera une fille, Barbara.