Allerede i 1854 hadde det blitt bestemt at den nye tollboden skulle få en dominerende plass på Langbryggene, og i november 1858 startet grunnarbeidene. Det var den da avdøde byingeniør Hother Bøttger som hadde tegnet utkastet til bygget, og dette ble fullført av ingeniørmajor Paul Thrane og kanalbestyrer Tullin Thams. Det er noe usikkert når bygget ble ferdigstilt, men det antas å ha vært høsten 1860 eller våren 1861.