ジョーン・フォンテイン
オリヴィアの両親は1914年に結婚したが、ウォルターが浮気がちな男性だったために、二人の結婚生活は必ずしも幸福とはいえなかった。オリヴィアの妹で、後に女優ジョーン・フォンテインとなるジョーン・デ・ハヴィランドが生まれたのは1917年10月22日だった。1919年2月に、母リリアンは病弱だった娘たちには東京の気候があっていないのではないかと考え、ウォルターを説得して一家はイギリスへと戻ることを決めた。イギリスへ戻る途中にオリヴィアが気管支炎となり、高熱で倒れたために一家はカリフォルニアにしばらく滞在している。その後ジョーンも肺炎に罹患したために、リリアンは二人の娘とカリフォルニアに残る決断をし、サンフランシスコから50マイルほど離れたサラトガに移り住んだ。しかしながら父ウォルターは家族を見捨てて、後に結婚することとなる日本人家政婦とともに日本へ戻っていった。オリヴィアの両親はその後別居生活となったが、二人が正式に離婚したのは1925年2月になってからだった。