Яростный антисемитизм Хелльдорфа имел теневую сторону. Хелльдорф был известен беспорядочным и распутным образом жизни, постоянно находился в крупных денежных долгах. В 1931 за долги было продано его имение. Преследования берлинских евреев и вымогательство «пожертвований» было для него способом поправить собственное финансовое положение. Кроме того, постоянным кредитором Хелльдорфа был еврейский трюкач-«ясновидящий» Эрик Ян Хануссен, убитый штурмовиками 25 марта 1933. Альберт Шпеер с отвращением вспоминал, с какой алчностью Хелльдорф присваивал предметы роскоши в оккупированной Вене 1938 года.