Fra 1938 var Rygg pådriver for forberedelsene til å evakuere Norges gullreserve i tilfelle krig. De tiltakene han fikk satt i verk, og hans igangsettelse av den såkalte gulltransporten under den tyske invasjonen av Norge i april 1940, var avgjørende for at gullreserven kunne bringes i sikkerhet i Storbritannia. Etter å ha fulgt etter gulltransporten et stykke på vei, returnerte Rygg tilbake til Oslo. I henhold til provisorisk anordning om pengevesenet i Norge, vedtatt av regjeringen 22. april 1940, ble Rygg og direksjonen i Oslo fritatt sine verv. Norges Bank skulle formelt følge gullbeholdningen, og Arnold Ræstad ble av regjeringen utnevnt til sentralbanksjef i Ryggs sted.