Spencer ble født i Tahlequah i Oklahoma og vokste opp i Montana, Kooskie, Lapwai og Lewiston i Idaho. Han har Sioux, Nez Perce, Cherokee, Creek, fransk og nederlandsk avstamning. Han har to yngre søstre. Han tok eksamen ved Clearwater Valley High School i 1994 hvor han da het «James Spencer». I tenårene deltok han som skuespiller ved Lewiston Civic Theater. Spencer gikk på college ved Lewis Clark State College i et år før han droppet ut for å satse på en skuespillerkarriere.