Он стал жертвой нацистского террора еще до прихода к власти Гитлера в 1933 году. Он постоянно становился жертвой насильственных нападений со стороны Sturmabteilung, и окна его музея оказывались разбиты так часто, что он больше не мог найти страховку для этого случая. После поджога Рейхстага Эрнст Фридрих был арестован (28 февраля 1933 года). Его музей был разрушен нацистами и превращен в объект Sturmabteilung. После освобождения в декабре 1933 года он бежал в другие европейские страны. Некоторое время ему удавалось прятаться в Quaker Rest Home.