Hanako, som betyder "Flower Child", var 69 år och den äldsta elefanten i Japan.
Elefanten var en gåva från Thailand när den var två år gammal.
Förra året lanserades en petition för att förbättra djurens villkor, men Hanako ansågs för gammal för att flytta tillbaka till Thailand.
En talesman för Inokashira Park Zoo i utkanten av Tokyo sade Hanako hittades på hennes sida på torsdag morgon och ansträngningar att uppfostra henne var inte framgångsrika. Hon dog på eftermiddagen.
Kriget mot elefanter
Har vi blivit av med kärleken till elefantfärder?
Hanako var en populär attraktion i djurparken, men elefanten, född i det vilda, tillbringade större delen av sitt liv i bur och ensam i ett betonghölje med lite grönska.
Förra året skrev en kanadensisk bloggare en artikel om elefantens inhägnad och beskrev den som ett "konkret fängelse".
Detta föranledde petitionen, som ledde djurparken att tillhandahålla nya leksaker och göra andra förändringar.
Men djurparken sade att hon var för gammal för att flyttas och en oberoende amerikansk naturexpert sade att stanna i en fristad med andra elefanter skulle förbrylla Hanako efter att ha levt så många år ensam.
En elefant som stod i centrum för en internationell kampanj för att förbättra sina levnadsvillkor har dött i ett zoo i Japan.