Hennes far var talkshowverten Wally George (født George Walter Pearch). Etter at faren forlot moren tilbrakte De Mornay mye av barnedommen på flyttefot, og bodde blant annet i Østerrike og Australia.