Nach dem „Anschluss“ Österreichs wurde Urach vom NS-Regime verhaftet und wiederum vier Monate lang inhaftiert. Die geheim tätige KPÖ stufte sie als gefährdet ein und zog sie von ihren Funktionen ab, die sodann von Bruno Dubber wahrgenommen wurden. Im Mai 1939 ging sie nach Belgien ins Exil und arbeitete als Kindermädchen. Auch in Belgien war sie – gemeinsam mit Auguste Bailly, Herta Ligeti, Lotte Sontag, Anni Hand und anderen – weiter für den österreichischen Widerstand der KPÖ tätig. Als „unerwünschte Ausländerin“ wurde sie im Jänner 1940 vom belgischen Sicherheitsapparat interniert, konnte aber im Zuge des Einmarsches der Wehrmacht aus der Internierung entkommen. Nach dem Einmarsch der Deutschen im Mai 1940 kehrte sie auf Weisung der Partei nach Kärnten und dann nach Wien zurück und gehörte der dritten Leitungsgruppe um Erwin Puschmann an, die die KPÖ nach dem „Anschluss“ hatte. Am 17. Juni 1941, wenige Tage vor dem Angriff des Deutschen Reichs auf die Sowjetunion, wurde Urach als letztes Mitglied dieser Leitungsgruppe erneut verhaftet. Sie war einige Monate in Einzelhaft in Krems an der Donau inhaftiert und wurde dann nach Wien überstellt.