Konstverket, av den amerikanske skulptören Charles Ray, kommer att ersättas av en lyktstolpe på toppen av Punta della Dogana.
Beslutet har förargat några konstälskare som hävdar att det visar ett misslyckande att omfamna utmanande, samtida arbete.
Men stadstjänstemän säger att skulpturen alltid var tänkt att vara tillfällig.
Pojke med groda, som är glänsande vit och 8ft (2,5m) lång, har ockuperat toppen av en trekantig bit mark som skiljer Grand och Giudecca kanalerna i nästan fyra år.
Det visar en pojke som håller upp en groda med ett ben och stirrar på den.
Skulptören hade tidigare uttryckt en förhoppning om att hans verk skulle bli en permanent "medborgare i Venedig".
"Jag såg det aldrig som tillfälligt", sa Ray till New York Times.
Men vissa invånare uppges ha missat en lyktstolpe från 1800-talet, en lång romantisk mötesplats, som stod på platsen innan.
Arbetare började ta bort skulpturen över natten på tisdagen redo att rensa utrymmet tidigt på onsdagen, rapporterade Corriere del Veneto tidningen.
I dess ställe kommer att vara en reproduktion av den ursprungliga lyktstolpen.
Den gammaldags landmärket ansågs vara mer i linje med den omgivande arkitekturen, BBC Rom korrespondent Alan Johnston rapporter.
Vissa djurälskare hävdade också att bilden av en pojke som höll grodan upp och ner var grym, tillägger vår korrespondent.
Men en artikel i tidningen La Stampa kritiserade Venedigs råd och sade att "administrativ feghet" hade vunnit över verklig kultur.
Rådet försvarade sitt beslut och sade att skulpturen hade betraktats som tillfällig och Venedig hade en fin historia av att välkomna och ställa ut modern konst.
Arbetet har börjat ta bort en kontroversiell staty föreställande en naken pojke med en groda i en del av det forntida Venedig, italienska media rapport.