ヒトラー内閣が成立して間もない2月27日にドイツ国会議事堂放火事件が発生すると、身の危険を感じたブラウンは自動車でオーストリアに逃亡した。ついで保養地としてたびたび訪問していたスイスのアスコナに移った。しかしドイツでの財産をほとんど没収され、難病の妻を抱えていたブラウンは自宅を賃貸に出したが借り手が見つけられず、負債取り立てから逃れるためパリに逃亡した。1938年に自伝を出版し、またアスコナの自宅に借り手が見つかったためスイスに戻ったが、第二次世界大戦が勃発すると再び経済的苦境に立たされた。ほとんど寝たきりかあるいは物乞い同然の生活をしていたが、知人の助けで最低限の生活は出来るようになった。終戦後はSPD再建党大会参加のため西ドイツに戻ることはあったものの、政治活動に復帰することはなく、ロカルノで死去した。享年83。