Etter nær på 50 år trakk han seg tilbake til sin farm utenfor Kansas City, der han døde i 1881. Han ble en legendarisk skikkelse allerede under sin livstid.