Bomben, som mäter 5ft i längd och väger 1000lb, har hittats i Southwark av byggare, sade Met Polisen.
Polisen sa att officerare kallades till en byggplats i Grange Walk kl. 09:18 GMT. Två skolor har evakuerats.
En avspärrning och en 400 meter lång uteslutningszon har införts som en försiktighetsåtgärd.
Trafiken avleds och flera vägar stängs. Rådet sa att det var "stora störningar" i området, särskilt runt Tower Bridge och Grange Walk.
Det rådde människor att hitta andra vägar hem.
Met sa att det arbetade med London Fire Brigade, London Ambulance Service och Southwark Council.
Ledare för Southwark Council, fullmäktigeledamot Peter John, sade: "Jag kan förstå hur oroande detta är för lokalbefolkningen, och fullmäktige gör allt vi kan för att stödja dem medan räddningstjänsten gör området säkert."
Han sade att det fanns "välrepade" beredskapsplaner på plats och uppmanade invånarna att gå till en av rådets vilocenter i Kanada Vatten för varma måltider, te och kaffe.
Mer än 1.000 hem i södra London har evakuerats efter att en oexploderad bomb från andra världskriget hittats på en byggarbetsplats.