ジョゼフが家庭を捨てた後、1935年にエラは子供たちと故郷のアーネムへと戻った。このときエラの最初の夫との間の息子たちは、母エラと暮らしていたが、デン・ハーグにいる父親のもとで過ごすことも多かった。1937年に幼いヘプバーンはイギリスのケントへと移住した。ヘプバーンはエラム () という村の小さな私立女学校に入学し、14人の少女たちのまとめ役となった。第二次世界大戦が勃発する直前の1939年に、母エラは再度アーネムへの帰郷を決めた。オランダは第一次世界大戦では中立国であり、再び起ころうとしていた世界大戦でも中立を保ち、ドイツからの侵略を免れることができると思われていたためである。1939年から1945年にわたってヘプバーンはアーネム音楽院に通い、通常の学科に加えてウィニャ・マローヴァのもとでバレエを学んだ。1940年にドイツがオランダに侵攻し、ドイツ占領下のオランダでは、オードリーという「イギリス風の響きを持つ」名前は危険だと母エラは考え、ヘプバーンはエッダ・ファン・ヘームストラという偽名を名乗るようになった。1942年に、母エラの姉ミーシェと結婚していた貴族の伯父オットー・ファン・リンブルク＝シュティルムが、反ドイツのレジスタンス運動に関係したとして処刑された。また、ヘプバーンの異父兄イアンは国外追放を受けてベルリンの強制労働収容所に収監されており、もう一人の異父兄アレクサンデルも弟イアンと同様に強制労働収容所に送られるところだったが、捕まる前に身を隠している。オットーが処刑された後に、エラ、ヘプバーン母娘と夫を亡くしたミーシェは、ヘプバーンの祖父アールノート・ファン・ヘームストラとともに、ヘルダーラントのフェルプ () 近郊へと身を寄せた。後にヘプバーンは回顧インタビューで「駅で貨車に詰め込まれて輸送されるユダヤ人たちを何度も目にしました。とくにはっきりと覚えているのが一人の少年です。青白い顔色と透き通るような金髪で、両親と共に駅のプラットフォームに立ち尽くしていました。そして、身の丈にあわない大きすぎるコートを身につけたその少年は列車の中へと呑み込まれていきました。そのときの私は少年を見届けることしか出来ない無力な子供だったのです」と語っている。