Sachverhalt: A. Die Staatsanwaltschaft Zürich-Limmat führt gegen X._ eine Strafuntersuchung wegen Sachbeschädigung. X._ wird verdächtigt, am 1. Mai 2009 zusammen mit ca. 15 weiteren Personen die Hausfassade einer Bankfiliale in Zürich mit Steinen und Farbflaschen beworfen und hierdurch einen Sachschaden in der Höhe von ca. Fr. 60'000.-- verursacht zu haben. X._ wurde am 29. April 2010 verhaftet und von der Staatsanwaltschaft einvernommen. Diese stellte gleichentags beim Haftgericht Antrag auf Anordnung der Untersuchungshaft. Nach mündlicher Anhörung von X._ versetzte das Bezirksgericht Zürich diesen mit Verfügung vom 30. April 2010 in Untersuchungshaft. Es bejahte einen dringenden Tatverdacht und erachtete den Haftgrund der Kollusionsgefahr als erfüllt. B. Mit Beschwerde vom 12. Mai 2010 beantragt X._, die Verfügung des Bezirksgerichts sei aufzuheben, und er sei aus der Haft zu entlassen. Eventualiter sei die Sache zu neuer Entscheidung an das Haftgericht zurückzuweisen. Das Bezirksgericht verzichtet auf eine Vernehmlassung zur Beschwerde. Am 4. Juni 2010 teilt die Staatsanwaltschaft dem Bundesgericht mit, X._ sei am 19. Mai 2010 aus der Untersuchungshaft entlassen worden. Mit Schreiben vom 8. Juni 2010 gibt das Bundesgericht den Parteien Gelegenheit, sich zur Frage der Gegenstandslosigkeit des Verfahrens und zur Kostenregelung zu äussern. Das Bezirksgericht verzichtet auf eine Stellungnahme. Die Staatsanwaltschaft beantragt, auf die Beschwerde sei nicht einzutreten. In seiner Eingabe vom 12. Juni 2010 betont X._, die Beschwerde sei mit seiner Haftentlassung nicht gegenstandslos geworden, sondern er habe (weiterhin) ein aktuelles Interesse an einem materiellen Entscheid.