Han tjenestegjorde på flere fartøy, fra 1939 som nestkommanderende på HNoMS B-6. I mai 1940 forlot han midlertidig marinetjenesten og ble ansatt i Forsyningsdepartementet sommeren samme år. Under den tyske okkupasjonen av Norge etablerte han den hemmelige organisasjonen for marineetterretning, RMO, som opererte fra Oslo våren 1942. Rygg ledet RMO til han måtte flykte til Sverige i 1943, på grunn av den tyske massearrestasjonen av norske militæroffiserer. Fra 1943 til 1945 tjenestegjorde han ved det militære kontoret ved den norske legasjonen i Stockholm.