Worshipful Company of Goldsmiths 1339 yılından beri aynı yerde hizmet vermektedir ancak şu anki bina burada aynı amaçla inşa edilmiş üçüncü binadır. İlki hakkında pek bilgi bulunmayan bu binanın ikinci versiyonu 1634 ile 1636 yılları arasında inşa edilmiştir. 166 yılında gerçekleşen Büyük Londra Yangını sırasında hasar görse de yeniden restore edilmiştir. 1820’lerin sonlarına doğru bu yapı yıkılmış ve yerine Philip Hardwick tarafından tasarlanan üçüncü bir bina inşa edilmiştir. Yapı II. Dünya Savaşı sırasında 1941 yılında gerçekleşen bir bombalama sonucu hasar görmüş ancak savaş sonrasından restore edilmiştir.