Sätt ett mål på 218 off 34 overs, Jack Taylor 34 off 17 bollar och Geraint Jones unbeaten 39 såg dem till 218-6 med en över till reserv.
Michael Klinger, föll på noll, var valet av fladdermöss med en fin 87.
Tidigare, Hampshires Jimmy Adams var körd för 97 och Will Smith slog 50 off 25 bollar i besökarnas 217-7.
Efter fyra inspektioner på grund av över natten regn, började spelet äntligen på 13:45 BST - en fördröjning på mer än tre timmar.
Efter att ha blivit ombedd att fladdra, föll Hampshire till 1-2 med Michael Carberry avfärdas för en tre-ball anka medan Adam Wheafer anslöt sig till honom i paviljongen strax därefter.
I takt med att det tidiga morgondummet ersattes av solsken mitt på eftermiddagen förbättrades Hampshires kamp, ledd av Adams - som firade sitt 100:e List-A framträdande för sydkusten.
Men hans 99-ball innings, som inkluderade sex fyror och två sexor, kom till ett slut tre körningar mindre än ett välförtjänt århundrade när han var slut av James Fuller medan han försökte komma tillbaka för en sekund.
Mediauppspelning stöds inte på den här enheten
I jakten, Gloucestershire var tacksam för en tappade fångst från Adams med Klinger ännu att göra mål, men i mitten av deras innings de var 81-3 med Chris Dent, Gareth Roderick och Hamish Marshall män att falla.
Klinger såg ut att ta värdarna till seger när han höjde run-rate, men så småningom fångades av Adams för att lämna Gloucestershire 163-5 - fortfarande behöver 55 off 33 bollar.
Men två stora overs av 19 och 17 körningar gav Gloucestershire hopp innan Taylor gav bort sin wicket med 11 krävs.
Men Jones slog sönder en sexa för att ta hans sida till seger, med Gloucestershire nu inför en resa bort till antingen Yorkshire eller Essex.
Gloucestershire förseglade en plats i semifinalen av One-Day Cup efter att ha vunnit en spännande regnreducerad match mot Hampshire i Bristol.