Napoleon hadde planlagt å reise sin triumfbue på tomten der Bastillen hadde ligget, men det østlige Paris var dengang et nedslitt arbeiderstrøk, så han fikk i stedet triumfbuen sin lenger vest i byen. Han mente likevel at en statue av en elefant ville være et passende minnesmerke på Bastille-tomten, selv om elefanter symboliserte den tapende part i de puniske kriger. Elefanten skulle støpes av bronse fra kanoner erobret i Spania. Det skulle sprute vann fra snabelen, og statuen skulle være stor nok til at publikum kunne gå opp en innvendig trapp til tårnet på ryggen dens. Imidlertid krevde våpenindustrien den bronsen som fantes, så i stedet for en bronsestatue ble en elefant av gips satt opp på plassen, stor som et hus i tre etasjer. Etter Napoleons fall planla bourbonerne å reise en elefantstatue der i marmor, men så klarte de ikke å avse mer enn åtte hundre francs årlig som lønn til en vaktmann ved navn Levassure, som bosatte seg sammen med rottene i det ene av statuens smuldrende bein.