Grupper av turister, färska från färjan från Kapstaden, passerar förbi med knappt en blick.
Men för mr Mandela hade trädgården ett särskilt värde. Och om du står inne i den lilla cellen där Sydafrikas kampikon tillbringade 18 år gömd från världen, och kikar genom det spärrade fönstret in i den högt muromgärdade gården, kan du bara göra ut den tunna remsan av grönt och brunt lövverk där han en gång tenterade tomater och chili.
"En trädgård var en av de få saker i fängelset som man kunde kontrolleraâ € € en känsla av att vara väktare av denna lilla lapp av jord erbjöd en liten smak av frihet," Mr Mandela skrev i sin självbiografi, Long Walk To Freedom - ett tidigt utkast som han för övrigt försökte gömma sig från fängelsevakterna genom att begrava i trädgården.
Idag, trädgårdens ogräs - och ruttnande stubbe av ett äppelträd - antyder på den påstådda misskötsel och korruption som har fördärvat Robben Island i åratal.
Men längs en vägg sticker nu två druvrankor ut i skarp kontrast - det frodiga gröna lövverket av en lovande skörd hängande på en träram.
"De växer fortfarande, frodas, oavsett de svåra förhållandena på ön. De är i hög grad en symbol för motståndskraften hos de ledare som sitter fängslade här, säger Philip Jonker, en sydafrikansk vinmakare när han och två kollegor försiktigt beskärde vinrankorna för hand.
Det är sju år sedan Jonker först såg de två växterna på ett familjebesök på ön.
Det är oklart om Mandela själv skötte vinrankorna eller om de, vilket verkar troligare, planterades kort efter det att han hade flyttats till ett annat fängelse på fastlandet. Men Jonker ser dem - det finns totalt sju vinstockar runt fängelset - som en del av öns arv, och ett sätt att bevara "sydafrikansk historia i en flaska".
Efter fyra års bön fick han till slut tillstånd att sköta vinrankorna, och förra året fick han ta den första skörden - som tidigare hade slukats av öns glupska fåglar - tillbaka till sitt vinhus i Weltevrede två timmars bilresa öster om Kapstaden.
Just nu - bortsett från de nuvarande rubrikerna om låg lön och bistra förhållanden i den lokala vinindustrin - kanske du undrar om detta helt enkelt är ännu ett potentiellt obekvämt försök att utnyttja Mandela "varumärket".
Det korta svaret är nej. Även om Weltevrede säkert inte kommer att bry sig om publicitet.
"Mandela är min druva far", sa Weltevrede arbetare Jan Blaauw, med ett brett leende, när han och Mr Jonker drog bort några döda grenar.
Personalen gör regelbundna resor till ön - deras framsteg med vinstockarna erbjuder en allt skarpare kontrast till den synliga försummelse som ses någon annanstans här.
Mandela "förde oss allt till frihet. Detta är mitt sätt att betala tillbaka för allt han har gjort för mig", sade Blaauw.
Trettio arbetare på Weltevrede har fått sin egen lilla vingård att odla som en del av ett egenmaktsprogram som ska hjälpa till att ta itu med apartheids ekonomiska arv.
Alla vinster från auktionen av vinet kommer att delas mellan arbetarnas förtroende, en annan lokal välgörenhet, och en organisation som hjälper missgynnade familjer av tidigare Robben Island politiska fångar.
Inte för att man kan försäkra sig om betydande vinster. Skörden är liten, för att uttrycka det milt.
Tillbaka på familjens egendom, i en fantastisk dal omgiven av berg, sniffade Mr Jonker och sedan siktade ett prov av Methode Cap Classique mousserande vitt vin som fortfarande jäser.
Sexton små flaskor sött vitt dessertvin har redan producerats och målet är att fylla 94 magnum med mousserande vin.
Det är fortfarande inte riktigt klart vilken druvsort som växer på Robben Island, men Jonker tror att kvaliteten kommer att vara hög, och försöker nu att undersöka världen av välgörenhetsauktioner.
Arbetarna på gården verkar dela Jonkers entusiasm.
"Det kan vara till nytta för våra barn. Det är en stor upplevelse eftersom jag kan gå ut och säga att jag äger vinstockar och jag kan göra vin, och vi gör också vin för Mandela. Han visade oss hur man ser fram emot och inte ser tillbaka", sade Maggie Kawula, som stod bredvid en rad Pinot Noir-vinrankor som ägs av arbetarnas förtroende.
Magnums kommer inte att vara redo för auktion på minst ett år eller så. Men efter att ha doppat en liten munfull av den halvjästa årgången - som kommer att kallas Manuskriptet, med hänvisning till historien om Mandela som begraver sin självbiografi i fängelseträdgården - kan jag säga er att det smakar alldeles utmärkt.
"Om ytterligare 50 eller kanske 100 år kan dessa vinstockar fortfarande vara levande och dessa kan vara de enda levande monument av tiden för våra stora ledare på ön," sade Mr Jonker.
I det solblekta hörnet av Nelson Mandelas gamla fängelsegård på Robben Island, de uttorkade resterna av en liten, ogräsbevuxen trädgård ligger blottad och sorgligt försummad.