Su madre Mary Seton murió cuando Charles tenía tres años, por lo que fue criado en un principio por su tía Elizabeth Ann Seton, que convertida al catolicismo, fue la primera mujer canonizada nacida en Estados Unidos.