Xander ble født rundt midten av januar i Sunnydale, California til Anthony og Jessica Harris. Hans far var en selvmedlidende alkoholiker mens moren var et følelsesmessig vrak; begge foreldrene overså ham og var til og med mishandlet ham, noe som ga ham noe reservasjoner i livet. Hans livsvarige bestevenn var Willow Rosenberg, som var håpløst forelsket i ham. De var sammen en liten stund da de var fem, men slo opp over en stjålet Barbie. I barnehagen opplevde Xander en ydmykelse som involverte en Aquamantruse. Xander og Willow utviklet et felles hat til den overlegene medeleven Cordelia Chase og grunnla «Vi Hater Cordelia Klubben. På 6-årsdagen hans leide foreldrene hans inn en klovn som jaget ham rundt; dette ga han en livslang klovnefobi og ga ham mareritt. Når han ikke fikk en brannbil til 7-årsdagen sin, brant nabohuset ned og han var sikker på at Willow hadde startet brannen så han skulle få se en ekte brannbil. Da han var seksten deltok han i Willow sin Bar mitsva, og hans fulle foreldre kranglet foran alle.