James Spader estuvo casado con la decoradora Victoria Wheel desde 1987 hasta que pidió el divorcio en 2004, unión de la cual nacieron dos varones: Elijahh y Sebastian.