Smithin isä Timeus Smith syntyi Englannissa ja äiti Mary Frances Smith (”Fanny”, o.s. Gaylord) Yhdysvaltain Keskilännessä. Timeus ja Fanny avioituivat 1891 ja asuivat alkuun Fannyn suvun maatilalla Kalifornian Long Valleyssä. Tienoo sijaitsee Sierra Nevadan aluskukkuloilla ja oli vanhaa kultaryntäyksen sydänmaata. Timeus Smith oli luonteeltaan synkkä ja vähäpuheinen, kun taas Fanny Smith oli iloinen ja perheelleen omistautunut. Perheen ainoa lapsi Clark Ashton syntyi tammikuussa 1893. Nuori Smith asui isovanhempiensa luona teini-ikään saakka.