Hans eneste sønn, US Air Force Kaptein James A. Van Fleet junior var pilot som ble drept under Koreakrigen. På tidspunktet for sin avgang fra aktiv tjeneste i 1953, uttalte tidligere president Harry S. Truman at «General Van Fleet er den største generalen vi noensinne har hatt» Van Fleet sitt dødsbo donerte alle hans penger til George C. Marshall Foundation. Van Fleet og hans kone, Helen Moore Van Fleet hadde tre barn sammen, som igjen fikk åtte barnebarn og tolv oldebarn før Van Fleet gikk bort.