Le afectó mucho la muerte de su madre y su abuelo Charles Roussel-Defontaine, alcalde de Tourcoing le acogió en su casa, hasta su muerte en 1880, cuando el joven Albert tenía sólo once años.