Sylvester James nació en Los Ángeles, California, proveniente de una familia de bajos ingresos, y fue criado por su madre, Letha.