Jonny May första minuten försök gav Gloucester den idealiska starten och Matt Kvesic lagt till en annan för hemmasidan.
Men Christian Wade, Tom Varndell och Nathan Hughes gick alla över för att tjäna Wasps en 24-14 halvtid ledning.
Greig Laidlaw gav Gloucester hopp med tre andra hälften straff, men Andy Goode sparkade 12 poäng för att säkra Wasps första borta ligan seger för säsongen.
En vecka efter att ha slagit Premierships rekord mot London Irish in Wasps hempremiärdebut på Ricoh Arena konverterade Coventry-födde Goode alla tre Wasps-försöken.
Han lade också till ett straff i vardera halvan, medan center Elliot Daly sparkade en sen tre-pekare att sträcka sin sidas vinnande marginal, tjäna dem sin första Premiership seger på vägen denna kampanj och lyfta dem upp en plats till sjätte i bordet.
Laidlaws 13 poäng med kängan, efter att ha konverterat båda hans sidas första hälften försök, tjänade Cherry och Whites en förlorande bonuspoäng.
Från den första linjen 45 meter ut från besökarnas linje, Gloucester flyttade bollen snabbt genom händerna för att låta May att tvinga sin väg över, Laidlaw konvertera skickligt.
Men, åtta minuter senare, Wassarna var nivå med ett utmärkt försök av sig själva.
Skipper James Haskell gjorde en stark sprickning innan bollen flyttades bred till ytter Varndell, som visade sig för stark i en en-mot-en med Steve McColl innan mata Wade att göra mål.
Mediauppspelning stöds inte på den här enheten
Goode konverterade sedan lagt till ett straff för att sätta Wasps 10-7 framför och deras ledning utökades när den tidigare England nummer 10 spekulativa kick studsade vänligt för Varndell att göra mål, besökarnas fluga-halva åter konvertera.
Flanker Kvesic kraschade över för Gloucesters andra försök, som Laidlaw återigen konverterade, men den sista av spelets fem touchdowns gick till Wasps tre minuter från halvtid när Hughes avslutade en line-out enhet, Goode konvertera för en 24-14 intervall bly.
Efter att ha ersatt McColl i halvtid med Billy Burns, hade Gloucester det bättre av den andra halvan, minska underskottet till bara en punkt med tre Laidlaw straff.
Men Wasps förde Jake Cooper-Woolley och Bradley Davies att stötta upp sin flock, omedelbart utöva påtryckningar för att få ännu ett straff, som den pålitliga Goode sparkade.
Med fem minuter kvar, Dalys långdistansstraff avslutade poäng för att bekräfta en andra på varandra följande hem nederlag för Gloucester efter förra veckans stora förlust för Bath.
Gloucester chef för rugby David Humphreys:
Mediauppspelning stöds inte på den här enheten
"Vi ville göra Kingsholm till en svår plats att spela på, men det händer inte. Vi var platta och saknade kant i första halvan men vi hade starka ord på halvtid och var mycket bättre efteråt.
"Kingsholm är ett bra ställe att spela på - med vår andra utsålda publik - men vi är inte där vi vill vara. Vi vet att vi måste bli bättre och ett annat hem nederlag kommer att bli en oro men om vi visar den energi som vi gjorde i andra halvan kommer vi att vinna matcher. "
"Det här var en viktig grupp om fyra matcher. Vi är två nere och det blir inte lättare. Att åka ner till Exeter kommer att bli en stor utmaning för oss."
Wasps chef för rugby Dai Young:
"Jag är verkligen glad att få bort denna apa från vår rygg som du måste vinna på vägen och slå sidorna nedanför dig i bordet om du vill stanna i mixen. Vi har gjort en dålig insats på Exeter men bortsett från det har vi inte varit en miljon mil bort.
"Vi hade kontroll under de första 37 minuterna men jag blev verkligen besviken på vår andra hälften-föreställning. Vi visste att Gloucester skulle komma tillbaka men vi vände bollen över sju gånger i första fasen.
"Vi hittade ett sätt att vinna som vi komponerades i de senaste fem minuterna, vilket var glädjande eftersom vi har kastat bort en hel del spel i det skedet i det förflutna."
Gloucester: McColl; Sharples, Atkinson, Tolv träd (kapsyl), maj; Hook, Laidlaw; Wood, Hibbard, Afoa; Savage, Palmer; Kalamafoni, Kvesic, G Evans.
Ersättningar: Dawidiuk, Y Thomas, Knight, Hudson, Moriarty, Robson, Burns, Purdy.
Wasps: Masi; Wade, Daly, Jacobs, Varndell; Goode, Simpson; Mullan, Shervington, Cittadedini; Gaskell, Myall; Johnson; Haskell (kapt), Hughes.
Ersättningar: Festuccia, McIntyre, Cooper-Woolley, B Davies, Jones, C Davies, Lozowski, Miller.
Domare: Dean Richards (RFU).
Wasps gjorde tre första hälften försök på Kingsholm för att sätta upp sin andra på varandra följande seger under den festliga perioden.