Tanken på dem fördystrade mycket hans sista dagar.