Rygg begynte på Luftforsvarets flygeskole i 1983 og fikk flygervingen etter jagerflygerutdanning i USA i 1985. Han tjenestegjorde som flyger ved 334 skvadron og 336 skvadron. Rygg var skvadronsjef ved 334 skvadron og 331 skvadron, før han i 1999 ble operasjonsgruppesjef. Fra 2007 til 2012 var Rygg sjef for 132 Luftving ved Bodø hovedflystasjon. I 2012–2013 ledet han den norske delen av undersøkelsen etter flyulykken på Kebnekaise. Fra 2012 til 2014 var han sjef for Luftoperativt inspektorat. I april 2014 ble han innsatt som generalinspektør for Luftforsvaret med generalmajors grad.