I 1866 trakk Roberts seg tilbake til Upper Alton i Illinois, der han til slutt bukket under for den spedalskhet han var blitt smittet av i sin tid i Macao.