Klubben hade hoppats på att bygga en 21.000-sitsig plats på Stoke Gifford i utkanten av staden.
Det sades att det var "uppsagt" att diskussionerna med UWE hade avslutats eftersom parterna inte kunde enas om godtagbara villkor.
Universitetet insisterade på att det "inte hade gett upp detta oerhört viktiga projekt".
År 2011 nådde fotbollsklubben ett avtal med UWE och Sainsbury om att bygga en ny stadion på universitetsmark.
Ytterligare planer inkluderade snabbköpet bygga en butik och reutveckla klubbens Memorial Stadium i Horfield.
Kedjan drog sig dock tillbaka efter förseningar och framställningar från kampanjdeltagarna för och emot planerna. En High Court strid följde som Rovers förlorade 2015. Klubben köptes följande år av familjen Al-Qadi.
I ett uttalande, Rovers sade att det skulle "nu måste gå tillbaka till ritbordet" och utforska alternativ för en ny stadion, ombyggnad av sin nuvarande mark och förbättringar till dess Colony träningsplats.
Club manager Darrell Clarke sa att nyheten var "mycket besviken för alla".
Steve Hamer, ordförande för Rovers, tillade: " Jag kan inte se att den här tjänsten har återfunnits.
"Jag tror bara att hela den här affären har varit jinxed, det bara aldrig verkar ha gått i rätt riktning."
En talesman för UWE sade att universitetet "återstod engagerat" till en ny stadion, vilket skulle ge "stora fördelar" till institutionen, samhället och den regionala ekonomin.
Hon tillade: "Även om vi har blivit besvikna över den långsamma takten i förhandlingarna är vi fortfarande villiga och öppna för fortsatta förhandlingar.
– Det har varit ett initiativ som universitetet har arbetat med i över åtta år och vi tror fortfarande att det går att leverera.
"Planeringsgodkännandet löper inte ut förrän i januari 2018 och dörren står öppen för att ett avtal ska träffas, och universitetet kommer att fortsätta att arbeta med detta projekt."
Med så mycket positivitet på Bristol Rovers går in i 2017-18 säsongen, med ett antal signeringar och manager Darrell Clarke underteckna ett femårigt kontrakt, kommer denna nyhet som ett slag - särskilt med tanke på den tid och pengar spenderas på projektet.
Supportrar har tålmodigt väntat på framsteg sedan planerna på att bygga en ny stadion på UWE släpptes första gången 2011. Du kan faktiskt gå tillbaka ännu längre, till över tre decennier sedan när de lämnade Eastville.
Nu kommer fansen att vilja veta vad som händer härnäst och de kommer att vilja ha försäkringar om att familjen Al-Qadi förblir engagerad i fotbollsklubben.
Bristol Rovers har övergett planerna på att bygga en ny stadion vid University of West of England (UWE).