Varley a crescut în Fort Worth, Texas, s-a mutat în 1957 în Port Arthur și a absolvit liceul din Nederland, Texas. A urmat apoi cursurile Universității din Michigan, beneficiind de o bursă de merit deoarece, dintre școlile pe care le putea alege, aceasta era cea mai îndepărtată de Texas. A început ca specializare cu fizica, apoi a trecut la limba engleză și a părăsit în cele din urmă școala înaintea împlinirii vârstei de 20 de ani, revenind în San Francisco exact la timp pentru a participa la fenomenul social "Summer of Love" care a avut loc în 1967 în Haight-Ashbury. Acolo a îndeplinit diferite slujbe necalificate, mâncând la Misiunea Sf. Anton și cerșind în fața Pieței Cala de pe strada Stanyan (închisă ulterior) înainte de a decide că scrisul este un mod mai bun de a-și câștiga existența. A ajuns în cele din urmă și la Festivalul de la Woodstock din 1969, după ce rămas în pană de benzină când mai avea de parcurs jumătate de milă. Printre locurile în care a trăit pentru o scurtă perioadă de timp se mai numără și Portland, Eugene, Oregon, New York City, din nou San Francisco, Berkeley și Los Angeles.