Promenadekafeen holdt opprinnelig til i Hjertnespromenaden 7, men flyttet i 2004 til Castberggården i Hjertnespromenaden 13. Castberggården ble tegnet av arkitekt Jacob Wilhelm Nordan for hvalfangstpioneren Christopher Castberg i 1870 og regnes som det første arkitekttegnede huset i Sandefjord.