1940年由於城牆冧咗，香港政府於是以衛生理由清拆城寨房屋，當時只有「廣蔭院」同「龍津義學」無拆到，到咗七十年代，開始有地產商喺城寨發展，龍津義學因為咁而改建成「義學大樓」。