En ese tiempo se estableció en Idlewild (New York) sobre el Río Hudson, y tras fallar su salud permaneció el resto de su vida en el retiro.