Jednou z nejstarších Anselových vzpomínek bylo pozorování kouře z požárů způsobených zemětřesením v San Franciscu v roce 1906. Čtyřletý Ansel byl po prvních otřesech nezraněn, ale při dotřesech o tři hodiny později si ošklivě poranil nos o zahradní zeď. Lékař doporučil operační zákrok, jakmile dosáhne dospělosti, ale i tak po celý život zůstal jeho nos křivý a zjizvený.