楼以东的入口处有一面积较大的花园。其中北楼作为旗昌轮船公司使用，并于1877年转让予轮船招商局。南楼则由旗昌洋行继续使用，至1881年租予大北电报公司，旗昌洋行于1891年结业后出售给大北电报，1907年大北电报进行清拆，并利用原花园处兴建了如今的大北电报公司大楼。新大楼建设于原旗昌洋行北楼东侧，该处原为花园，招商局遂聘请玛礼逊洋行设计了新的办公大楼，工程施工则由广东的建筑商赵道仁承包。建筑正面采用古典主义风格与仿文艺复兴风格，为连接原旗昌洋行大楼，又在每层安排了一条通道。建筑材料则基本由广东或香港运送而来