Nach Kriegsende erfolgte seine Übernahme in die Reichswehr. Hauffe diente auch in der Wehrmacht in verschiedenen Generalstäben und als Kommandeur. Am 1. August 1937 wurde er zum Oberst befördert. Ab dem 12. Oktober 1937 wurde er als Erster Generalstabsoffizier beim Generalkommando III eingesetzt. Zum 1. Mai 1939 wurde er Chef des Generalstabs beim Grenzschutzkommando Oberrhein und ab dem 26. September 1939 beim XXV. Armeekorps (Wehrmacht). Es folgte ab 15. Februar 1940 der Posten als Chef des Generalstabs beim XXXXVIII. Panzerkorps. Die Beförderung zum Generalmajor erfolgte am 1. Juni 1940. Vom 1. Juni 1941 bis zum 20. Januar 1943 war er Chef der Deutschen Militärmission in Rumänien. Die Beförderung zum Generalleutnant erfolgte am 1. Januar 1943. Vom 7. Februar bis 20. Juli 1943 war er Kommandeur der 46. Infanterie-Division. Vom 7. September 1943 bis 22. Juli 1944 war er Kommandeur des XIII. Armeekorps. Er wurde am 1. November 1943 zum General der Infanterie ernannt. Er geriet am 22. Juli 1944 bei Lemberg während der Lwiw-Sandomierz-Operation in sowjetische Kriegsgefangenschaft. Während des Marsches in die Gefangenschaft trat Hauffe auf eine Mine und wurde tödlich verletzt.