Ab dem 1. Juni 1939 fungierte Ruff als Adjutant im Generalstab des XXV. Armeekorps, mit dem er ab September 1939 am Zweiten Weltkrieg teilnahm. Zum 6. Februar 1940 wurde er erster Kommandeur des Artillerie-Regiments 291 der 291. Infanterie-Division, das zu diesem Zeitpunkt auf dem Truppenübungsplatz Arys in Ostpreußen aufgestellt wurde. Er führte sein Regiment im Mai und Juni 1940 im Westfeldzug in Frankreich und ab Juni 1941 im Deutsch-Sowjetischen Krieg in Russland. Anfang Januar 1941 zum Oberst befördert, wurde er am 4. Januar 1942 in die Führerreserve versetzt und am 21. Februar 1942 zum Kommandeur des Artillerie-Regiments 305 der 305. Infanterie-Division ernannt. Das Regiment lag zu diesem Zeitpunkt noch als Besatzungstruppe in der Bretagne und bereitete sich auf seinen Einsatz an der Ostfront vor. Es wurde ab Mai 1942 in der Schlacht bei Charkow und ab August 1942 in der Schlacht von Stalingrad eingesetzt. Ende September 1942 wurde Ruff mit der Führung der 401. Ersatz-Division in Königsberg beauftragt, deren Kommandeur er am 1. Dezember 1942 wurde. Gleichzeitig wurde er zum Generalmajor befördert. Am 1. April 1944 zum Stadtkommandanten von Riga ernannt, ließ er in dieser Funktion die Bewohner Rigas rund um die Stadt breite Gräben ziehen, die die sowjetischen Panzer aufhalten sollten. Anfang 1945 wurde er Kommandeur der neu aufgestellten 609. Infanterie-Division, dem die Truppen der Festung Breslau unterstanden. Am 1. März 1945 folgte seine Beförderung zum Generalleutnant.