Sachverhalt:
A. Mit Verfügung vom 19. März 2008 teilte die Staatsanwaltschaft II des Kantons Zürich X._ mit, dass wegen des Verdachts der Teilnahme am Rauschgifthandel der Telefonanschluss unter der Nummer xxx vom 3. Mai 2007 bis 17. August 2007 überwacht worden sei. X._ erhob mit Eingabe vom 21. April 2008 Beschwerde an die II. Zivilkammer des Obergerichts des Kantons Zürich. Er beantragte, es sei die fehlende Rechtmässigkeit der Verfügungen der Anklagekammer des Obergerichts des Kantons Zürich vom 4. Mai 2007 und 5. Juli 2007, mit welchen die Überwachungsanordnung genehmigt wurde, festzustellen. Zudem seien diese Verfügungen aufzuheben. Mit Beschluss vom 6. Juni 2008 wies das Obergericht die Beschwerde ab.
B. Mit Beschwerde in Strafsachen und subsidiärer Verfassungsbeschwerde an das Bundesgericht vom 10. Juli 2008 beantragt X._ im Wesentlichen, der Beschluss des Obergerichts sei aufzuheben. Zudem sei die fehlende Rechtmässigkeit der Verfügungen der Anklagekammer des Obergerichts vom 4. Mai 2007 und 5. Juli 2007 festzustellen und es seien diese Verfügungen aufzuheben.
Das Obergericht hat auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft schliesst auf Abweisung der Beschwerde.
Auf Gesuch des Beschwerdeführers hat der Präsident der I. öffentlichrechtlichen Abteilung mit Verfügung vom 26. August 2008 das bundesgerichtliche Verfahren bis zum Vorliegen des kantonalen Berufungsurteils in der Sache sistiert. Nachdem die II. Strafkammer des Obergerichts am 7. April 2009 das betreffende Urteil gefällt und den Beschwerdeführer schuldig erklärt und verurteilt hatte, verfügte der Abteilungspräsident am 17. Juni 2009 die Wiederaufnahme des bundesgerichtlichen Verfahrens.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen einen Entscheid gemäss Art. 10 Abs. 5 lit. c des Bundesgesetzes vom 6. Oktober 2000 betreffend die Überwachung des Post- und Fernmeldeverkehrs (BÜPF; SR 780.1). Er betrifft die Rechtmässigkeit und Verhältnismässigkeit einer Überwachungsanordnung und ist als Zwischenentscheid im Rahmen des Strafverfahrens gegen den Beschwerdeführer wegen Widerhandlungen gegen das Betäubungsmittelgesetz (SR 812.121) zu qualifizieren (vgl. Urteil des Bundesgerichts 6S.488/2004 vom 12. Mai 2005 E. 2). Als solcher ist er nur unter den Voraussetzungen von <ref-law> anfechtbar. Diese Bestimmung ist aufgrund der Verweisung in <ref-law> auch im Rahmen der subsidiären Verfassungsbeschwerde anwendbar. Dabei ist zu beachten, dass die Eintretensvoraussetzungen dieser Bestimmung das Bundesgericht entlasten sollen. Dieses soll sich möglichst nur einmal mit einer Sache befassen. Daher tritt das Bundesgericht auf gegen Vor- und Zwischenentscheide gerichtete Beschwerden nicht ein, sofern allfällige Nachteile in verhältnismässiger Weise auch noch mit einer bundesgerichtlichen Beurteilung nach Ausfällung des Endentscheids behoben werden können (<ref-ruling> E. 1.3.2 S. 34 f.). Dass die Voraussetzungen von <ref-law> erfüllt sind, hat der Beschwerdeführer aufzuzeigen, soweit dies nicht ohne Weiteres auf der Hand liegt (vgl. <ref-ruling> E. 1.2 S. 429 mit Hinweisen; Urteil 1C_407/2008 vom 25. Mai 2009 E. 1.3).
1.2 Der Beschwerdeführer legt nicht dar, inwiefern der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> bewirken könnte. Ein solcher liegt auch nicht auf der Hand. Im Urteil 6S.488/2004 vom 12. Mai 2005 stellte das Bundesgericht fest, man könne im Allgemeinen nicht davon ausgehen, dass die durch eine Überwachung des Post- oder Fernmeldeverkehrs gewonnenen und den Verfahrensakten beigefügten Beweismittel die Privatsphäre des Beschuldigten beeinträchtigten. Es seien jedoch die Umstände des jeweiligen Falles zu berücksichtigen (a.a.O., E. 2.2.2). Es ist nicht ersichtlich, weshalb hier für die Protokolle der Telefonüberwachung in diesem Sinne eine Ausnahme zu machen sein sollte. Ob die Protokolle als Beweismittel zuzulassen sind, wird vom Strafrichter zu beurteilen sein (vgl. Urteil 6S.488/2004 vom 12. Mai 2005 E. 2.2.3; vgl. auch Botschaft vom 1. Juli 1998 zu den Bundesgesetzen betreffend die Überwachung des Post- und Fernmeldeverkehrs und über die verdeckte Ermittlung, BBl 1998 4275 Ziff. 212.26).
1.3 Der Beschwerdeführer hat die Möglichkeit, gegen das inzwischen ergangene Strafurteil des Obergerichts vom 7. April 2009 Beschwerde an das Bundesgericht zu erheben (vgl. <ref-ruling> E. 1.2.1 und 1.2.2 S. 332 ff. mit Hinweisen). Von dieser Möglichkeit hat er bereits Gebrauch gemacht und ein entsprechendes Verfahren ist hängig.
1.4 Nach <ref-law> ist die Beschwerde zulässig, wenn deren Gutheissung sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde. Dass diese Anforderung vorliegend gegeben wäre, behauptet der Beschwerdeführer zu Recht nicht.
1.5 Auf die Beschwerde ist nach dem Gesagten nicht einzutreten. Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Prozessführung. Nach <ref-law> befreit das Bundesgericht eine Partei, die nicht über die erforderlichen Mittel verfügt, auf Antrag von der Bezahlung der Gerichtskosten, sofern ihr Rechtsbegehren nicht aussichtslos erscheint. Nach der bundesgerichtlichen Rechtsprechung sind Prozessbegehren als aussichtslos anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können (<ref-ruling> E. 2.3.1 S. 135 f.; <ref-ruling> E. 5 S. 616; je mit Hinweisen). Ob eine Beschwerde aussichtsreich ist, erschliesst sich aus den Begehren und ihrer Begründung durch den Beschwerdeführer (Urteil 1C_158/2009 vom 18. Juni 2009 E. 2.2 mit Hinweis). Aus den vorangehenden Erwägungen ergibt sich, dass die Beschwerde aussichtslos ist, zumal die Voraussetzungen von <ref-law> weder vom Beschwerdeführer dargetan wurden noch auf der Hand liegen. Dieser hat deshalb keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG). Indessen erscheint es unter Berücksichtigung aller Umstände als gerechtfertigt, dem mittellosen Beschwerdeführer keine Gerichtskosten aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft II und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 2. September 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Dold