Gupta har også gjort seg gjeldende innen opera, hvor han bl.a. har dirigert urfremførelsen av Olli Kortekangas «Joonan Kirja» ved den Finske Nasjonalopera; Rolf Wallins «Manifest» i København og Olav Anton Thommessens «Hertuginnen dør» ved Det norske teatret. Ved Den Norske Opera har han dirigert «Flaggermusen» og ledet urfremføringen av Gisle Kverndokks «Den Fjerde Nattevakt» i 2005 og 2012. Ved operaen i Frankfurt har han dirigert «La Traviata» og «Tryllefløyten», og han har også hatt engasjement ved operaen i Mannheim, Reisopera i Nederland («Der Prinz vom Homburg» av Hans Werner Henze), og operaen i Basel (urfremføring av operaene «Der Reigen» og «Der alte vom Berge» av Bernhard Lang).