Sachverhalt: A. Im Anschluss an den offiziell bewilligten Anlass zum "Tag der Arbeit" am 1. Mai 2011 in der Stadt Zürich hielt sich A._ in einer grösseren Menschenmenge im Raum Kanzleiareal/Helvetiaplatz auf. Ab ca. 16.30 Uhr bildeten die Stadtpolizei Zürich und Kantonspolizei Zürich um die Anwesenden einen Kordon. In der Folge konnten nur noch Personen, welche nach Einschätzung der Einsatzkräfte klarerweise nicht als Teilnehmer einer unbewilligten Nachdemonstration in Frage kamen, das Gelände ungehindert verlassen. Um 19.06 Uhr wurde A._ in Gewahrsam genommen und als eine von insgesamt 542 Personen zur sicherheitspolizeilichen Überprüfung durch die Kantonspolizei in die Polizeikaserne überführt. Dort verfügte die Kantonspolizei eine Wegweisung, nach welcher es A._ ab 22.00 Uhr für 24 Stunden untersagt sei, ein bestimmtes Gebiet in der Zürcher Innenstadt (die Stadtkreise 1, 4 und 5) zu betreten oder sich darin aufzuhalten. Während von den 542 in die Polizeikaserne überführten Personen 45 wegen diverser Vergehen und Übertretungen angezeigt und 29 der Jugend- oder Staatsanwaltschaft zugeführt wurden, wurde A._ am 1. Mai 2011 um 22.30 Uhr aus der Polizeikaserne entlassen, ohne dass gegen ihn strafrechtliche Vorwürfe erhoben wurden. B. Am 27. Juli 2011 ersuchte A._ bei der Kantonspolizei um die Feststellung, dass die Festnahme sowie die Wegweisung rechtswidrig gewesen seien. Die Sicherheitsdirektion des Kantons Zürich nahm die Eingabe als Rekurs entgegen und wies das Begehren am 30. März 2012 ab. Eine von A._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 7. Februar 2013 ebenfalls ab, wogegen A._ mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht gelangte. Mit Urteil vom 22. Januar 2014 hiess das Bundesgericht die Beschwerde teilweise gut. Es kam zum Schluss, die rund zweieinhalbstündige Festhaltung im Rahmen der Einkesselung sowie der anschliessende knapp dreieinhalbstündige polizeiliche Gewahrsam zur vertieften Identitätsfeststellung stellten im Verbund mit den einschneidenden Modalitäten eine Freiheitsentziehung im Sinne von Art. 31 Abs. 4 BV dar. Damit falle die Beurteilung dieser Massnahmen in die Zuständigkeit des Zwangsmassnahmengerichts. Das Bundesgericht hob das Urteil des Verwaltungsgerichts vom 7. Februar 2013 auf und überwies die Angelegenheit zur materiellen Beurteilung an das Bezirksgericht Zürich als zuständiges Zwangsmassnahmengericht (Urteil 1C_350/2013 vom 22. Januar 2014). C. Mit Verfügung vom 24. November 2014 stellte das Bezirksgericht als Zwangsmassnahmengericht fest, die A._ betreffenden polizeilichen Massnahmen vom 1. Mai 2011 - nämlich die Festhaltung im Rahmen der Einkesselung, der anschliessende Gewahrsam sowie die Wegweisung - seien rechtmässig gewesen. Mit Beschluss vom 18. März 2015 wies das Obergericht des Kantons Zürich eine von A._ gegen die Verfügung des Bezirksgerichts erhobene Beschwerde ab. D. Gegen den Beschluss des Obergerichts hat A._ am 28. April 2015 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Entscheids sowie die Feststellung, dass seine Festhaltung im Rahmen der Einkesselung und der anschliessende Polizeigewahrsam am 1. Mai 2011 rechtswidrig gewesen seien, ihn namentlich in seinen Rechten auf persönliche Freiheit bzw. Bewegungsfreiheit (Art. 10 Abs. 2 BV), Versammlungsfreiheit (Art. 22 BV, Art. 11 EMRK) sowie Meinungs- und Informationsfreiheit bzw. Freiheit der Meinungsäusserung (Art. 16 BV, Art. 10 EMRK) verletzt und einen unzulässigen Freiheitsentzug dargestellt bzw. sein Recht auf Freiheit verletzt hätten (Art. 31 BV, Art. 5 EMRK). Zudem sei festzustellen, dass die am 1. Mai 2011 ihm gegenüber ausgesprochene Wegweisung rechtswidrig gewesen sei und ihn namentlich in seinen Rechten auf persönliche Freiheit bzw. Bewegungsfreiheit (Art. 10 Abs. 2 BV), Versammlungsfreiheit (Art. 22 BV, Art. 11 EMRK), Achtung des Privatlebens (Art. 8 EMRK) sowie Meinungs- und Informationsfreiheit bzw. Freiheit der Meinungsäusserung (Art. 16 BV, Art. 10 EMRK) verletzt habe. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit diese nach Vornahme weiterer Abklärungen und Durchführung eines Beweisverfahrens neu entscheide. Die Vorinstanz hat auf eine Stellungnahme verzichtet. Die Kantonspolizei liess sich nicht vernehmen. E. Die I. öffentlich-rechtliche Abteilung hat die Angelegenheit am 20. April 2016 in öffentlicher Sitzung beraten und entschieden.