Två försök från Mark Atkinson och en från Matt Scott hjälpte sätta dem 21-6 framför, innan Simon Labouyrie och Dion Evarard Oulai korsade för värdarna.
Billy Tolftrees försökte göra det 29-20 i halvtid, innan Evrard Ourais andra minskade underskottet till bara två poäng.
Men Mays ansträngningar och ett sent försök från Tom Savage förtjänade sin sida segern.
Bayonne: Jane; Laveau, Whitelock, Lacroix, Fuster; Meret, Duhalde; Iguiniz, Labouyrie, Choirat, Ducat, Jaulhac, Latimer, Lespinasse, Oulai.
Ersättningar: Leiataua, Bordenave, Taufa, Huete, Sauvosse, Duputs, Maillard, Mamao.
Gloucester: Krok; Halaifonua, Scott, Atkinson, maj; Tolv träd, Heinz (c); Thomas, Hibbard, Doran-Jones; Savage, Latta, Ludlow, Rowan, Morgan.
Ersättningar: Matu'u, Orr, Afoa, Galarza, Kvesic, Braley, Thorley, Sharples.
Domare: Gary Conway (Irland)
Biträdande domare: Stuart Gaffkin och Richard Kerr (Båda Irland)
För de senaste rugby facket nyheter följa @bbcrugbyunion på Twitter.
England ytter Jonny May gjorde ett försök på sin återkomst efter 10 månader ut med en knäskada för att hjälpa Gloucester slå Bayonne i deras Challenge Cup öppnare.