רמי נולד בריליאו-לה-פאפ שבמחוז רון להורים ממוצא מרטיניקי. את שנות הנוער הוא התחיל בקבוצת ASPTT ליון וב-1999 עבר לאולימפיק ליון שם גם חתם על החוזה המקצועני הראשון שלו בשנת 2006. בינואר 2008 הוא הושאל ללאנס לחצי עונה שבסיומה הוא שם לליון. באותו קיץ הוא נמכר לניס תמורת 8 מיליון אירו, הסכום הגבוה ביותר בו ניס רוכשת שחקן. ב-2010 הוא הצטרף לקבוצת מרסיי. בעונתו הראשונה הוא הבקיעה 18 שערים ב-41 משחקים, בכל המסגרות. ובעונתו השנייה 22 ב-47 משחקים, כאשר יחד עם מתייה ולבואנה הם אחראיים על מעל 50% משערי הקבוצה. במחזור האחרון הוא נפצע, פציעה שבעקבותיה הוא לא שותף ביורו 2012 ומפסיד את אימוני טרום עונה 2012/13. בעקבות הפציעה הוא איבד את מקומו בהרכב הפותח ומשחק פחות. בינואר 2013, מפני שהוא לא שיחק הרבה, הוא מעדיף לעבור לאתגר הבא ומצטרף לקווינס פארק ריינג'רס מהפרמייר ליג. הוא מבקיע 6 שערים ב-14 משחקים אך זה לא מנע מקווינס פארק ריינג'רס לרדת ליגה. בעקבות זאת הוא עבר לניוקאסל יונייטד בהשאלה לעונת 2013/14.