Ruge ble ved avskjeden tildelt æresbolig ved Høytorp fort, i kommandantboligen (lokalt kjent som ), der han bodde frem til sin død i 1961.