Ektefellene von Hallwyl var leieboere i Fersenska palasset da de kjøpte eiendommen i Hamngatan 4. I nabolaget fantes et forfallent lager og verksted, men Strandvägen og esplanaden på Östermalm, hadde begynt å prosjekteres. Huset på Hamngatan 4 hadde tilhørt en steinhugger ved navn Dubois. Paret ønsket å kjøpe en tomt lenger ned mot Strandvagen som byen Stockholm eide. Stockholm by ønsket å beholde tomten for å bygge sitt eget prakbygg i det nye kvartalet, og 10 år senere ble Dramaten bygget på tomten.