I Kriegsmarine var han fra juli 1935 kommandør for II. marineartilleri-avdeling. Etter sin forfremmelse til fregattenkaptein ble Ruhfus i begynnelsen av oktober 1937 stabsoffiser ved staben på marineskolen Mürwik. Etter starten på andre verdenskrig ble han, som kaptein til sjøs, den 16. september 1939 utnevnt til kommandant for den lette krysseren . Etter at krysseren hans ble senket ved kaien i Bergen den 10. april 1940 av britiske fly under den tyske okkupasjonen av Norge, overtok han havne- og sjøkommandanturen i Bergen i fire måneder. I august 1940 ble han etterfølgeren til Friedrich Rieve som sjøkommandant i Oslo, fra april 1941 kjent som kommandant for sjøforsvaret i Oslofjorden. Fra oktober 1942 til april 1944 ledet han som kontreadmiral marineskolen Mürwik. Han ble fjernet fra denne stillingen våren 1944 etter et besøk fra sjefen for Kriegsmarine, fra den ene dagen til den neste. I april 1944 ble han sjøkommandant for Den franske riviera med base i Toulon. Der ble han tatt til fange av franske styrker under de alliertes landgang den 28. august 1944, noe som ødela helsen hans.