Se sospecha que los padres de Clairmont nunca estuvieron casados y que su madre adoptó el apellido Clairmont para esconder el hecho de que sus hijos, Clairmont y su hermano Charles, eran ilegítimos.