Durch den Einmarsch der deutschen Truppen am 12. März 1938 in Österreich und das verabschiedete "Gesetz über die Wiedervereinigung Österreichs mit dem Deutschen Reich" wurde die Diktatur vom nationalsozialistischen Regime unter Adolf Hitler abgelöst, was es Holger als Jüdin verbot aufzutreten und zu arbeiten. 1939 gelang es ihr jedoch mit der Hilfe ihres Freundes Charles Petrach, das Land zu verlassen. Sie entschied sich dazu, nach Indien zu fliehen, da dies das Land mit dem größten Reiz auf Künstler der westlichen Bevölkerung sei, wie sie selber sagte.