Taylors foreldre var James J. Taylor, en videokunstner, og Mimi Cazort, en museumskurator. Han er bror av popartisten Anna Domino.