Mens Ruge satt på Grini skrev han sine erindringer fra felttoget i Norge. Mens riksrådsforhandlingene pågikk, ønsket tyskerne å ha Ruge i Norge for at han om mulig kunne spille en rolle i styringen av Norge under et riksråd. Da riksrådsforhandlingene brøt sammen og Josef Terbovens kommissariske statsråder var utnevnt 25. september 1940, bestemte Adolf Hitler personlig at Ruge skulle overflyttes til Tyskland. Den 15. oktober 1940 ble han transportert med fly til Dresden, der han ble satt i fangenskap på Königstein festning. I 1943 ble han flyttet til et Sonderlager i Thorn (polsk Toruń) i Polen. Derifra kom han sommeren 1944 til Oflag XXI-C i Ostrzeszów i Polen der de andre norske offiserene som var krigsfanger satt. Mot slutten av krigen ble han overført til Schildberg og deretter til Luckenwalde (Stalag III A). Da sovjetiske styrker inntok Luckenwalde, ble Ruge sendt til Moskva og kom hjem 3. juni. I Moskva klarte han å hindre at de gjenværende norske offiserene i sovjetisk sone ble sendt til Norge via Sovjetunionen og Murmansk. I stedet ble de værende i Luckenwalde i den sovjetiske okkupasjonssonen. Ruge overbeviste Johan Bernhard Hjort om å bli værende i Groß Kreutz så lenge som mulig fordi Ruge mente det var svært nyttig å ha nordmenn i nærheten av Berlin når det tyske sammenbruddet kom. Bakgrunnen for at omkring 800 gjenværende norske offiserer skulle sendes til Murmansk, var en avtale fra Jaltakonferansen om at de norske soldatene skulle settes inn i kamp ved Kirkenes.