Bygningen er oppført på den tidligere Kaiserhöft, det ytterste punkt på en utstikkerkai sentralt i Hamburg havn. På tomten ble det i 1875 oppført et lagerhus (tysk: Speicher) Kaispeicher A, men kalt Kaiserspeicher til ære for Vilhelm I. Kaiserspeichers klokketårn hadde på toppen montert en tidskule, synlig over hele Hamburg havn. Tidskulen eller -ballen, var et optisk tidssignal. Den ble heist til toppen to ganger daglig, og sluppet ned på nøyaktige klokkeslett. Anlegget sto i forbindelse med observatoriet Hamburger Sternwarte.