Carver nació dentro de la esclavitud en Diamond Grove, condado de Newton, municipio de Marion, cerca de Crystal Place, ahora conocido como Diamond, Misuri, posiblemente en 1864 o 1865, aunque no se conoce la fecha exacta.