面粉厂即被拆卸，厂址只剩下一大片平地和一个废弃的码头。该地从此以后一直荒废，无人居住以致野草丛生，荒芜不已。
香港日佔时期.1941年日佔时期，日军将该处的伦尼面粉厂房用作地区指挥部，并且在该处严刑拷问犯人（例如走私客），严重者斩首处决，把尸首抛下岸边海床。
调景岭营.1948年国共内战，战事由黄河流域蔓延至长江流域，中华民国政府在1949年1月宣佈迁都广州，很多战败及受伤的中华民国国军及眷属随政府南移到广东一带。1949年年底国民政府失守，国军撤出大陆、