Cuando el futuro escritor tenía seis años su familia se trasladó a Dublín, donde Charles dejó a su mujer y a su hijo al ser destinado a las Indias Occidentales; pero la mujer, antes de volver a su país, confió a su hijo a una tía paterna que vivía en Gales, muy deseosa de que cursara carrera eclesiástica, por lo cual le hizo estudiar en varias escuelas parroquiales; sus padres, en fin, se desentendieron de él y sufrió una infancia bastante triste y solitaria; es más, perdió en un accidente el ojo izquierdo y quedó tuerto, lo que le confirió además un intenso complejo de inferioridad motivado también por su gran miopía; esta es la causa por la cual aparece en sus fotografías sin monóculo, de lado o con los ojos cerrados.