Ut på 1950-tallet var Det engelske kvarter begynt å forfalle. I 1958 la arkitekt John Engh frem et forslag til ny bebyggelse på tomten, med den forutsetning at den gamle bebyggelsen ble revet. Dette førte til en offentlig debatt, der de fleste politikere var for riving og modernisering. I løpet av mellomkrigstiden var mesteparten av kvarteret ombygget til forretninger og kontorer, noe som ble brukt som argument av mange – tilhengerne av riving mente at særpreget var borte når Det engelske kvarter ikke lengre var bolighus. Enkelte, slik som senere riksantikvar Stephan Tschudi-Madsen og Høyre-politikeren Bjørn Bjørnseth, gikk inn for å bevare kvarteret. Men 2. januar 1962 begynte rivingen for første byggetrinn av Ind-Eks-huset, som sto ferdig i 1964. Siste rest av Det engelske kvarter, Drammensveien 30-32, ble jevnet med jorden i november 1965.