Piraterna var botten efter att ha förlorat sina två första matcher men Tom Lockyer ledde dem till en 55-minuters ledning innan Billy Bodin slog två gånger för att säkra sina första poäng för säsongen.
Jermaine Beckford och Nicky Ajose fick tröst i stoppage tid men poängen smickrade en sorglig Bury sida.
Beckford och Harry Bunn testade Sam Slocombe i första halvlek men annars spelade Rovers en del fin fotboll, med Bodin sköt brett när de slog upp 26 skott.
Ellis Harrison och Tom Nichols nekades då av Bury Keeper Joe Murphy innan Chris Lines sköt över.
Nichols och Ollie Clarke gick också nära innan pausen men 22-åriga centerback Lockyer - i sitt 200: e utseende för Rovers - sedan på väg hem från Lee Browns hörn.
Värdarna erbjöd lite i svar och Bodin gick hem från Joe Partington 72: a minuten hörnet innan peking i från nära håll efter 86 minuter.
Beckford gick hem från Tsun Dais sena hörn medan Ajose konverterade Greg Leigh kors i stopptid men Bury kunde inte undvika en andra raka nederlag.
Matchrapport från Pressföreningen.
Matchändar, Bury 2, Bristol Rovers 3.
Andra halvlek, Bury 2, Bristol Rovers 3.
Mål!  Begravning 2, Bristol Rovers 3. Nicky Ajose (Bury) höger fotade skott från mitten av lådan till nedre högra hörnet. Hjälpt av Greg Leigh.
Tsun Dai (Bury) vinner en frispark i defensiva halvan.
Foul av Liam Sercombe (Bristol Rovers).
Mål!  Begravning 1, Bristol Rovers 3. Jermaine Beckford (Bury) header från mycket nära håll till nedre högra hörnet. Hjälpt av Tsun Dai med ett kors efter ett hörn.
Hörnet, Bury. Förföljd av Ryan Sweeney.
Försöket räddades. Liam Sercombe (Bristol Rovers) höger fotade skott från utsidan boxen sparas i toppen av målet.
Mål!  Bury 0, Bristol Rovers 3. Billy Bodin (Bristol Rovers) höger fotade skott från mitten av lådan till nedre vänstra hörnet. Hjälpt av Lee Brown efter en viss situation.
Ersättning, Bristol Rovers. Dominic Telford ersätter Tom Nichols på grund av en skada.
Hörnet, Bury. Förföljd av Liam Sercombe.
Försök missade. Tom Nichols (Bristol Rovers) högerfotade skott från mycket nära håll är för högt.
Försöket räddades. Rory Gaffney (Bristol Rovers) vänster fotade skott från höger sida av lådan sparas i nedre vänstra hörnet.
Försöket räddades. Tom Nichols (Bristol Rovers) höger fotade skott från mitten av lådan sparas i nedre vänstra hörnet.
Foul av Callum Reilly (Bury).
Dominic Telford (Bristol Rovers) vinner en frispark i anfallshalvan.
Handboll av Rory Gaffney (Bristol Rovers).
Mål!  Bury 0, Bristol Rovers 2. Billy Bodin (Bristol Rovers) header från mycket nära håll till övre vänstra hörnet. Hjälpt av Joe Partington.
Ersättning, Bristol Rovers. Stuart Sinclair ersätter Chris Lines.
Ersättning, Bristol Rovers. Rory Gaffney ersätter Ellis Harrison.
Foul av Zeli Ismail (Bury).
Liam Sercombe (Bristol Rovers) vinner en frispark i anfallshalvan.
Harry Bunn (Bury) vinner en frispark i anfallshalvan.
Foul av Ollie Clarke (Bristol Rovers).
Försöket räddades. Ellis Harrison (Bristol Rovers) höger fotade skott från utsidan boxen sparas i toppen av målet.
Försök blockerat. Ellis Harrison (Bristol Rovers) vänster fotade skott utanför lådan är blockerad.
Försök missade. Liam Sercombe (Bristol Rovers) vänster fotade skott utanför lådan är nära, men missar till vänster.
Substitution, Bury. Zeli Ismail ersätter Alex Bruce.
Mål!  Bury 0, Bristol Rovers 1. Tom Lockyer (Bristol Rovers) huvud från mitten av lådan till övre högra hörnet. Hjälpt av Lee Brown med ett kors som följer ett hörn.
Hörnet, Bristol Rovers. Förföljd av Alex Whitmore.
Handboll av Jermaine Beckford (Bury).
Foul av Callum Reilly (Bury).
Ollie Clarke (Bristol Rovers) vinner en frispark i den defensiva halvan.
Försök blockerat. Callum Reilly (Bury) höger fotade skott från utsidan lådan är blockerad.
Foul av Chris Humphrey (Bury).
Lee Brown (Bristol Rovers) vinner en frispark på vänsterflygeln.
Försök missade. Harry Bunn (Bury) höger fotade skott från utsidan lådan är nära, men missar till vänster.
Andra halvan börjar Bury 0, Bristol Rovers 0.
Substitution, Bury. Chris Humphrey ersätter Craig Jones.
Substitution, Bury. Tsun Dai ersätter Callum Styles.
Bristol Rovers borstade bort sin dåliga start i League One genom att kryssa till en imponerande 3-2 seger på Bury.