Po wybuchu II wojny światowej walczył w kampanii wrześniowej. Brak jest wiarygodnych informacji o dacie i miejscu śmierci Jana Graefe. Według jednych źródeł, zmarł w jednym z niemieckich obozów jenieckich, według innych – był jedną z ofiar zbrodni katyńskiej (1940).