I 1938 kom han hjem fra en utstilling i Paris og ble arrestert av Gestapo og anklaget for å bedrive degenerert kunst og svartebørshandel (salg av bilder til en jødisk spekulant, dvs. Guggenheim). Året før var nemlig bildene hans inkludert i München-utstillingen av Entartete Kunst. Bauer hadde ikke ønsket å flykte, men hadde tatt til motmæle. Han ble holdt fengslet i flere måneder, mens Rebay og Guggenheim arbeidet med å få ham løslatt. I august 1938 slapp man ham fri. Han hadde brukt tiden i fengselet til å tegne nonfigurativt på alle papirlapper han fikk tak i. De neste månedene tok han beslutningen om å emigrere og fikk i gang papirmøllen, slik at han forlot Tyskland i retning USA i juli 1939, få uker før andre verdenskrig var et faktum.