Im Sommer 2014 wurde bekannt, dass auf dem Kleinen Grasbrook Flächen für Spielstätten sowie für das Olympische Dorf geplant werden. Hätte Hamburg nach einer Bewerbung als Austragungsort der Olympischen Spiele 2024 oder Olympischen Spiele 2028 den Zuschlag erhalten, wären hierzu größere infrastrukturelle Maßnahmen erforderlich gewesen. Dazu hätten etliche Betriebe aus dem äußeren östlichen Bereich des Hamburger Hafens umgesiedelt werden müssen, darunter auch mehrere Standorte von HHLA-Betrieben (z. B. das Frucht- und Kühl-Zentrum). Der "Unternehmensverband Hafen Hamburg" (UVHH) rechnete mit gut 2000 Beschäftigten, die von einer Umsiedlung betroffen gewesen wären. Er hatte zudem Bedenken, dass die zur Verfügung stehende Zeit für die Planung und Umsiedlung auf noch nicht vorbereitete Flächen nicht ausgereicht hätte. Am 29. November 2015 wurde das Großprojekt durch das Hamburger Olympia-Bürgerschaftsreferendum mit 51,6 % Nein-Stimmen gegenüber 48,4 % Ja-Stimmen abgelehnt. Die Wahlbeteiligung der wahlberechtigten Bürger bei diesem Referendum betrug 50,2 %.