Besökarna ledde 14-6 på halvtid efter två försök från Thomas Waldrom utplånade Gopperths två sparkar.
Wasps Charles Piutau och Chiefs prop Harry Williams bytte försök och Gareth Steenson sparkade Exeter 24-11 framåt.
Frank Halai gav Wasps hopp, men Exeter såg ut att hänga på tills Gopperth konverterade Piutau sista sekunden försök.
Wasps, som vann Heineken Cup 2004 och 2007, kommer att spela Saracens i de sista fyra på Reading's Madejski Stadium den 23 april efter de engelska mästare kämpade tillbaka från en halvtid underskott för att slå Northampton 29-20 i den andra semifinalen på lördag kväll.
Matchvinnare Gopperth blev mobbad av sina lagkamrater när bollen seglade över stolparna från rätt touchline, gnistrande vilda fester bland Wasps fans på Ricoh Arena.
Exeter spelare sjönk till gräset i besvikelse som Premiership Club, bara främjas till den engelska toppflyget för sex år sedan, missade på sin första europeiska semifinal.
Chiefs hade försvarat beundransvärt under hela kvartsfinalen, särskilt i öppningen halvtimmen när de begränsade sina dominerande värdar till bara två Gopperth straff.
Och försöker från Waldrom och Williams, plus den pålitliga kängan av Steenson, lämnade en tyst hemmapublik fruktar det värsta.
Men Exeters ansträngningar berättades slutligen när Wasps producerade en minnesvärd kamp tillbaka under de sista 15 minuterna.
Med Exeter hotande, hemmasidan spelade ut från bakom sina poster som Elliot Daly och Christian Wade vände sista-ditch försvara till en attack full av skarp löpning och tricks, Halai så småningom avsluta några faser senare och Gopperth konvertera för 24-18.
Wass slog obevekligt bort försvaret i jakten på en dramatisk final - och det kom slutligen.
Spelet hade tickat efter 80 minuter när Piutau tävlade på ett platt pass för att darta genom Exeter linjen, och Gopperth tillämpade coup de Grace.
Gopperth, 32, sade till BBC Radio 5 livesporter extra: "Som målskytt är de ögonblick du tränar natt och dag.
"Jag var tvungen att behandla det som min första kick av matchen. Jag var avslappnad och så fort den slog i foten har jag aldrig firat så mycket. Så fort jag slog till visste jag att det var bra.
"Segern var en stor laginsats från den positionen och vi visade en hel del karaktär. Jag var glad att avsluta det för pojkarna."
Wasps: Charles Piutau; Christian Wade, Elliot Daly, Siale Piutau, Frank Halai; Jimmy Gopperth, Dan Robson; Matt Mullan, Carlo Festuccia, Jake Cooper-Woolley; Joe Launchbury, Kearnan Myall; James Haskell (kapt), George Smith, Nathan Hughes.
Ersättningar: Ashley Johnson, Simon McIntyre, Lorenzo Citadini, Bradley Davies, Thomas Young, Joe Simpson, Ruaridh Jackson, Rob Miller
Exeter: Lachie Turner; Jack Nowell, Henry Slade, Ian Whitten, Olly Brände; Gareth Steenson (kapten), Will Chudley; Ben Moon, Luke Cowan-Dickie, Moray Low; Mitch Lees, Geoff Parling; Don Armand, Julian Salvi, Thomas Waldrom.
Ersättningar: Jack Yeandle, Alec Hepburn, Harry Williams, Damian Welch, Dave Ewers, Dave Lewis, Michele Campagnaro, James Short.
Jimmy Gopperth höll modet att sparka Waspers i en europeisk Champions Cup semifinal mot Saracens efter en extraordinär seger mot Exeter.