Olivia de Havillands far var en britisk advokat og moren en tidligere skuespiller, og hun ble født i Tokyo. Hun vokste hovedsakelig opp i Nord-California. Fra tre års alder var de Havilland bosatt i California sammen med sin mor og søster, etter foreldrenes skilsmisse.