In de loop van de 20e eeuw liep de werkgelegenheid bij Royal Arsenal en andere militaire bedrijven en instanties gestaag terug. Met name de sluiting van de Royal Ordnance fabriek in 1967 en de Siemensfabriek een jaar later (6000 banen), luidde een periode van economische achteruitgang in. De werkloosheid liep snel op en de komst van grote groepen immigranten riep spanningen op. In de jaren 1960 en 70 werden veel 19e-eeuwse arbeiderswijken in Woolwich vervangen door grootschalige flatgebouwen of laagbouwwijken met goedkope huurwoningen ("estates"), die later – mede door gebrek aan toezicht en slecht onderhoud – broeinesten van stedelijk verval werden. Ondanks immigratie en pogingen tot stedelijke vernieuwing slonk het inwonertal van de voormalige parish tot circa 17.000 in 1971. De achteruitgang was het meest zichtbaar in Powis Street, de belangrijkste winkelstraat van Woolwich, waar in de jaren 1970 en 80 vier warenhuizen verdwenen. In 1974 werd in Woolwich de eerste McDonald's van Groot-Brittannië geopend, omdat het in die tijd gezien werd als een doorsnee Engelse stad. In hetzelfde jaar vond in een pub vlak bij een kazerne een bomaanslag door de IRA plaats, waarbij twee doden vielen. In 1981 vond opnieuw een IRA-aanslag plaats op het garnizoen. In 2011 was Woolwich, net als andere wijken in Londen en elders, het toneel van rellen. In 2013 vond een derde aanslag plaats, deze keer door twee Nigeriaanse moslim-extremisten, die een militair vermoordden.