Der Grimm hatte den Hamburger Brand von 1842 heil überstanden und war eines der wenigen Gebiete der Hamburger Altstadt, das im 20. Jahrhundert noch historische Bausubstanz besaß. Hierbei handelte es sich vor allem um vierstöckige und drei- bis fünfachsige Hamburger Kaufsmannshäuser aus dem Barock mit repräsentativen Fassaden, üppigen Portalen und vorgebauten Ausluchten. Zu Beginn des 20. Jahrhunderts begann sich allerdings die Bevölkerungszusammensetzung zu ändern: Die ursprünglich dort wohnenden Kaufleute waren seit dem Hamburger Brand und der Aufhebung der Torsperre 1861 in die Außenbezirke gezogen. An ihrer Stelle zogen ärmere Bevölkerungsschichten in die inzwischen oft sanierungsbedürftigen Häuser der Altstadt. Der größte Teil des Grimms wurde im Hamburger Feuersturm 1943 zerstört. Häuser, die 1961 noch erhalten waren, waren die Häuser Grimm 12, 14 und 16 (ehemals Grimm 20, 19, 18). Vom Haus Grimm 31 ist die Prunkdecke erhalten, die seit der Eröffnung des Museums für Hamburgische Geschichte 1922 die "Kaufmannsdiele" innerhalb des Museums schmückt.