两次鸦片战争后，广州被英法联军占领，粤海关开始逐渐由西人主导。时沙面岛属于租界，为方便外籍人士办理公务，就在六二三路附近兴建了一栋共两层楼的粤海关税务司公署。然而，大楼在经历数次重修后最终被大火烧掉，后来就决定在附近兴建办公地点，也就是如今的“大钟楼”。咸丰十年（1860年）粤海关税务司在现关址正式建立公署（外界称“洋关”）。民国三年（1914年）3月28日，时粤海关监督宋寿征、广东民政长李开侁、粤海关税务司梅乐和等人为粤海关工程奠基，民国五年（1916年）6月25日落成。1931年6月1日，粤海五十里