Demonstranterna gjorde den 12 km (7-mil) resan för att belysa höga halter av bakterier i viken.
De sade att de var bekymrade över hälsan hos de idrottare som deltog i olympiska seglingstävlingar.
Rättegångar för evenemangen kommer att inledas i Rios vatten nästa lördag.
Myndigheterna i Rio lovade inledningsvis att 80 % av viken skulle rensas upp i tid för spelen, men de medgav på senare tid att de inte skulle uppfylla dessa mål.
Endast en av åtta vattenreningsverk har hittills byggts.
Den brasilianska sjömannen och olympiska medaljören Isabel Swan var en av organisatörerna av protesten.
Hon tävlade i OS i Peking 2008 och säger att området som används för segling i Kina hade problem med en stor algblomning men detta behandlades med två månader före tävlingen.
Hon berättade för BBC misslyckandet av Rio de Janeiro stad och stat att uppfylla sina åtaganden fick henne att känna sig "mycket dålig".
"Det är viktigt att vi kan lämna ett arv för våra barn och för brasilianska människor", sade hon.
"Det var mycket viktigt att ta de olympiska spelen till Rio, men vi kunde inte städa bukten.
Jag vill skapa en rörelse som kommer att inspirera människor att försvara Guanabara Bay och hjälpa regeringen att göra ett verkligt åtagande att städa upp det. "
Försök för de olympiska segling tävlingar på grund av att starta nästa lördag har hindrats av oro över inverkan på hälsan för idrottare.
En undersökning som nyligen genomfördes av Associated Press visade att de vattenvägar i Rio som skall användas i OS medför stora mängder sjukdomsframkallande virus som är direkt kopplade till mänskligt avloppsvatten.
Sergio Ricardo, ekolog och grundare av Bahia Viva (Living Bay) rörelsen, som organiserade protesten, sade den förorening som påverkar viken orsakas av ett antal olika faktorer.
– De största utmaningarna är avloppsrening och industriell kontroll. Oljeindustrin inkräktar på fiskarna i viken. Vi behöver en offentlig politik för fiske, återbeskogning och avloppsrening så att viken kan leva."
En flottilj med mer än 30 båtar och vattenfarkoster har kryssat över Rio de Janeiros Guanabara Bay för att protestera mot vattenföroreningar med ett år kvar till OS 2016.