Adam var sønn av Otto West Anderson (25. januar 1903 – 9. oktober 1984) og Audrey V. Speer (1906–69). Han var av svensk avstamming fra farssiden, og av engelsk, walisisk, tysk, irsk og skotsk på morssiden. Faren var bonde, moren operasangerinne og konsertpianist som ofret sine drømmer om Hollywood for å ta seg av familien. Adam flyttet til Seattle da han var 15 sammen med moren da foreldrene skilte seg.