Sachverhalt:
A. Das Obergericht des Kantons Zürich sprach X._ mit Urteil vom 20. Mai 2009 zweitinstanzlich schuldig der mehrfachen qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz. Es verurteilte ihn zu einer Freiheitsstrafe von 6 Jahren unter Anrechnung der ausgestandenen Untersuchungs- und Sicherheitshaft sowie des vorzeitigen Strafvollzugs von 871 Tagen. Vom Vorwurf des Handelns mit 1 Kilogramm Kokain (Anklageziffer 12) sprach das Obergericht X._ frei.
B. X._ führt Beschwerde. Er beantragt, es sei festzustellen, dass die Aussagen von Y._ nicht verwertet werden dürfen. Die Sache sei zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Verbeiständung.
C. Das Obergericht des Kantons Zürich und die Oberstaatsanwaltschaft des Kantons Zürich haben auf Vernehmlassung verzichtet.

Erwägungen:
1. Der Beschwerdeführer bezeichnet seine Eingabe an das Bundesgericht ohne nähere Präzisierung als "Beschwerde". Es handelt sich dabei offensichtlich um eine Beschwerde in Strafsachen im Sinne von Art. 78 ff. BGG.
2. 2.1 Der Beschwerdeführer bringt vor, mit Präsidialverfügung des Bezirksgerichts Zürich vom 28. September 2007 sei ihm Rechtsanwältin Tanja Knodel als amtliche Verteidigerin beigegeben worden. Seinen Vorschlag, wonach Rechtsanwalt Heinz Birchler zu bestellen sei, habe der Staatsanwalt bewusst und in Verletzung von § 12 Abs. 1 des Gesetzes [des Kantons Zürich] vom 4. Mai 1919 betreffend den Strafprozess (StPO; LS 321) dem Präsidenten des Bezirksgerichts Zürich nicht weitergeleitet. Dass das Mandat zum früheren erbetenen Verteidiger (Rechtsanwalt Jürg Federspiel) beendet gewesen sei und sich Rechtsanwalt Heinz Birchler einverstanden erklärt habe, die amtliche Verteidigung zu übernehmen, sei dem Staatsanwalt bekannt gewesen. Da die amtliche Mandatierung von Rechtsanwalt Heinz Birchler verspätet erfolgt sei, habe die Konfrontationseinvernahme mit Y._ (erneut) verschoben werden müssen (vgl. Beschwerde S. 5 ff., 13 ff. und 20 ff.).
2.2 Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur, wenn eine solche Rüge in der Beschwerde vorgebracht und substanziiert begründet worden ist. Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.2 S. 234 mit Hinweisen; <ref-ruling> E. 2.2 S. 246). Genügt die Beschwerde diesen Anforderungen nicht, ist darauf nicht einzutreten.
2.3 Dem Beschwerdeführer wurde im Anschluss an seine Verhaftung mit Präsidialverfügung des Bezirksgerichts Zürich vom 27. Dezember 2006 Rechtsanwältin Tanja Knodel als amtliche Verteidigerin beigegeben. Bereits am 22. Januar 2007 wurde sie aus ihrem amtlichen Mandat entlassen, nachdem der Beschwerdeführer Rechtsanwalt Jürg Federspiel mit seiner Vertretung beauftragt hatte. In der Folge bezeichnete der Beschwerdeführer in kurzen Abständen verschiedene Rechtsanwälte als erbetene Verteidiger (Rechtsanwältin Tanja Knodel [erneut] anstatt Rechtsanwalt Jürg Federspiel, Rechtsanwalt Jürg Federspiel [erneut] anstatt Rechtsanwältin Tanja Knodel sowie Rechtsanwalt Heinz Birchler anstatt Rechtsanwalt Jürg Federspiel). Mit Präsidialverfügungen vom 28. September 2007 und 7. Januar 2008 wurden schliesslich Rechtsanwältin Tanja Knodel respektive Rechtsanwalt Heinz Birchler als amtliche Verteidiger bestellt. Am 27. Dezember 2007 ernannte der Beschwerdeführer zudem Advokat Theodor Mion als erbetenen Verteidiger (vorinstanzliche Akten act. 13/2 ff.).
Der Beschwerdeführer bringt vor, der Staatsanwalt habe ihm "seinen sehnlichst erwünschten Verteidiger verweigert" (Beschwerde S. 15). Diese Rüge ist nicht rechtsgenüglich substanziiert. Eine Verletzung von Grundrechten macht er nicht geltend. Mithin legt er nicht dar, welche verfassungsmässigen Rechte inwiefern durch den vorinstanzlichen Entscheid verletzt worden sind. Die Beschwerde genügt den qualifizierten Begründungsanforderungen gemäss Art. 106 Abs. 2 BGG nicht. Auf die Rüge der Verletzung von § 12 und 13 StPO/ZH ist ebenfalls nicht einzutreten. Das Bundesgericht kann die Anwendung kantonalen Rechts nicht frei prüfen, wie sich aus Art. 95 BGG ergibt. Es kann nur prüfen, ob die Vorinstanz das kantonale Recht willkürlich angewendet und dadurch das Willkürverbot (Art. 9 BV) verletzt hat. Dies wird aber vom Beschwerdeführer nicht einmal behauptet.
3. 3.1 Der Beschwerdeführer sieht, unter Hinweis auf § 14 und 15 StPO/ZH sowie Art. 6 Ziff. 3 lit. d EMRK, sein Konfrontationsrecht mit Y._ verletzt. Anlässlich der Einvernahme vom 6. Juni 2007 habe er aus Zeitgründen lediglich drei Ergänzungsfragen stellen dürfen. Vom einvernehmenden Staatsanwalt sei er auf einen späteren Zeitpunkt vertröstet worden. Am 17. Dezember 2007 habe er erstmals die Gelegenheit erhalten, Ergänzungsfragen zu stellen. Von dieser Gelegenheit habe er berechtigterweise keinen Gebrauch gemacht, da er damals von Rechtsanwältin Tanja Knodel als amtliche Verteidigerin (und nicht von Rechtsanwalt Heinz Birchler) begleitet worden sei. Am 21. Februar 2008 habe schliesslich Y._ die Aussagen verweigert. Das Recht, Ergänzungsfragen zu stellen, sei anlässlich der betreffenden Einvernahme, spätestens aber am folgenden Tag, einzuräumen. Dieses Recht habe er weder am 21. Februar 2008 noch am 17. Dezember 2007 unmittelbar ausüben können. Unzutreffend sei, dass die Telefonabhörprotokolle ebenso gewichtige Beweismittel wie die Aussagen von Y._ darstellten. Die genannten Aussagen seien deshalb nicht verwertbar (Beschwerde S. 4 f., 8 ff., 15 ff. und 23 f.).
3.2 Die Vorinstanz erwägt, gemäss § 14 Abs. 1 StPO/ZH habe der Angeschuldigte und dessen Verteidiger das Recht, der Einvernahme von Auskunftspersonen beizuwohnen und ergänzende Fragen zu stellen. Dem Gesetzestext sei nicht zu entnehmen, wann das Fragerecht einzuräumen sei. In der Möglichkeit, die Ergänzungsfragen in umfangreichen Strafuntersuchungen erst einige Zeit nach der Konfrontation zu stellen, könne ein Vorteil liegen. Dadurch habe der Angeschuldigte Zeit, die Fragen vorzubereiten. Andererseits bestehe auch die Gefahr, dass die Erinnerungen der Auskunftsperson verblassen würden oder sie sich dazu entschliesse, weitere Aussagen zu verweigern. Frühere Aussagen einer Auskunftsperson seien gegen den Angeschuldigten verwertbar, sofern mindestens einmal eine Konfrontation stattgefunden habe, die fraglichen Aussagen diesem respektive dem Verteidiger bekannt gewesen seien und dazu Ergänzungsfragen hätten gestellt werden können. Dies gelte selbst für den Fall, dass der Mitbeschuldigte anlässlich der Konfrontation die Aussage verweigere, soweit seine Aussagen nicht das einzige oder ausschlaggebende Beweismittel seien. Dies sei der Fall, da bezüglich aller eingeklagten Vorgänge Telefonabhörprotokolle als gewichtige Beweismittel vorlägen. Die belastenden Aussagen von Y._ seien dem Beschwerdeführer und seinem damaligen Verteidiger bereits anlässlich der delegierten polizeilichen Einvernahmen vorgehalten worden. Sie wären auch zum Nachteil des Beschwerdeführers verwertbar, wenn er sie nicht noch in seiner Gegenwart als richtig bestätigt und teilweise wiederholt hätte, sondern schon bei der ersten Konfrontation jegliche Aussage verweigert und keinerlei Ergänzungsfragen beantwortet hätte (angefochtener Entscheid S. 6 ff.).
3.3 Gemäss Art. 6 Ziff. 3 lit. d EMRK hat der Angeschuldigte im Strafverfahren das Recht, Fragen an die Belastungszeugen zu stellen und die Ladung und Vernehmung von Entlastungszeugen unter denselben Bedingungen zu erwirken, wie sie für Belastungszeugen gelten. Dieser Anspruch ist ein besonderer Aspekt des Rechts auf ein faires Verfahren gemäss Art. 6 Ziff. 1 EMRK. Mit der Garantie von Art. 6 Ziff. 3 lit. d EMRK soll ausgeschlossen werden, dass ein Strafurteil auf Aussagen von Zeugen abgestützt wird, ohne dass dem Beschuldigten wenigstens einmal Gelegenheit gegeben wird, das Zeugnis in Zweifel zu ziehen und Fragen an den Zeugen zu stellen. Dieser Anspruch wird als Konkretisierung des rechtlichen Gehörs gemäss Art. 29 Abs. 2 BV auch durch Art. 32 Abs. 2 BV geschützt. Er gilt auch betreffend die Einvernahme von Auskunftspersonen, die den Beschuldigten belasten. Die Gelegenheit zur Befragung muss angemessen und ausreichend sein und die Befragung muss tatsächlich wirksam ausgeübt werden können (<ref-ruling> E. 3.1 S. 41; <ref-ruling> E. 2.2 S. 480; <ref-ruling> E. 4.2 S. 157; Wolfgang Peukert, in: Europäische Menschenrechtskonvention, EMRK-Kommentar, 3. Aufl. 2009, N. 308 zu Art. 6 EMRK; vgl. auch Niklaus Schmid, Handbuch des schweizerischen Strafprozessrechts, 2009, N. 826; Robert Hauser und andere, Schweizerisches Strafprozessrecht, 6. Aufl. 2005, § 55 Rz. 6 f. und § 63 Rz. 3a). Dieser Anspruch erfährt in der Praxis aber eine gewisse Relativierung. Er gilt uneingeschränkt nur, wenn dem streitigen Zeugnis alleinige oder ausschlaggebende Bedeutung zukommt, dieses also den einzigen oder einen wesentlichen Beweis darstellt (BGE <ref-ruling> E. 2.2 S. 481 mit Hinweisen).
3.3 Gemäss Art. 6 Ziff. 3 lit. d EMRK hat der Angeschuldigte im Strafverfahren das Recht, Fragen an die Belastungszeugen zu stellen und die Ladung und Vernehmung von Entlastungszeugen unter denselben Bedingungen zu erwirken, wie sie für Belastungszeugen gelten. Dieser Anspruch ist ein besonderer Aspekt des Rechts auf ein faires Verfahren gemäss Art. 6 Ziff. 1 EMRK. Mit der Garantie von Art. 6 Ziff. 3 lit. d EMRK soll ausgeschlossen werden, dass ein Strafurteil auf Aussagen von Zeugen abgestützt wird, ohne dass dem Beschuldigten wenigstens einmal Gelegenheit gegeben wird, das Zeugnis in Zweifel zu ziehen und Fragen an den Zeugen zu stellen. Dieser Anspruch wird als Konkretisierung des rechtlichen Gehörs gemäss Art. 29 Abs. 2 BV auch durch Art. 32 Abs. 2 BV geschützt. Er gilt auch betreffend die Einvernahme von Auskunftspersonen, die den Beschuldigten belasten. Die Gelegenheit zur Befragung muss angemessen und ausreichend sein und die Befragung muss tatsächlich wirksam ausgeübt werden können (<ref-ruling> E. 3.1 S. 41; <ref-ruling> E. 2.2 S. 480; <ref-ruling> E. 4.2 S. 157; Wolfgang Peukert, in: Europäische Menschenrechtskonvention, EMRK-Kommentar, 3. Aufl. 2009, N. 308 zu Art. 6 EMRK; vgl. auch Niklaus Schmid, Handbuch des schweizerischen Strafprozessrechts, 2009, N. 826; Robert Hauser und andere, Schweizerisches Strafprozessrecht, 6. Aufl. 2005, § 55 Rz. 6 f. und § 63 Rz. 3a). Dieser Anspruch erfährt in der Praxis aber eine gewisse Relativierung. Er gilt uneingeschränkt nur, wenn dem streitigen Zeugnis alleinige oder ausschlaggebende Bedeutung zukommt, dieses also den einzigen oder einen wesentlichen Beweis darstellt (BGE <ref-ruling> E. 2.2 S. 481 mit Hinweisen).
3.4 3.4.1 Die erste Konfrontationseinvernahme des Beschwerdeführers und von Y._ fand am 6. Juni 2007 statt. Der Beschwerdeführer stellte zwei Ergänzungsfragen. Anlässlich der zweiten Konfrontationseinvernahme vom 17. Dezember 2007 weigerte sich der Beschwerdeführer, weitere Fragen an Y._ zu richten mit der Begründung, er wolle nicht durch seine damals anwesende amtliche Verteidigerin, Rechtsanwältin Tanja Knodel, vertreten sein. Am 21. Februar 2008 lehnte es schliesslich Y._ anlässlich der dritten Konfrontation ab, weitere Fragen zu beantworten.
3.4.2 Die Vorinstanz qualifiziert zu Unrecht die Aussagen von Y._ als nicht ausschlaggebendes Beweismittel. Die Verurteilungen stützen sich zu einem gewichtigen Teil auf die entsprechenden Einvernahmen (Anklageziffern 7, 8, 10, 11 und 14). Dies gilt auch für die Vorwürfe, die sich einzig auf die Telefonabhörprotokolle stützen (Anklageziffern 1-6 und 13). Die aufgezeichneten Gespräche sind für sich allein nur schwer verständlich, und die verwendeten Ausdrücke lassen im Wesentlichen erst Rückschlüsse auf einen Kokainhandel zu, wenn die erklärenden Aussagen von Y._ herangezogen werden. Dies geht auch ohne Weiteres aus dem angefochtenen Entscheid hervor, worin wiederholt auf die Erläuterungen von Y._ verwiesen wird (vgl. S. 46, 49, 51, 54 f. und 57). Sind die Aussagen von Y._ ein ausschlaggebendes Beweismittel, so gilt der Anspruch, Ergänzungsfragen zu stellen, uneingeschränkt.
3.4.3 Zu prüfen ist, ob die Gelegenheit zur Befragung von Y._ am 6. Juni 2007 angemessen und ausreichend war. Dessen Aussagen waren dem Beschwerdeführer nach den Erwägungen der Vorinstanz bereits anlässlich der delegierten polizeilichen Einvernahmen vorgehalten worden. Sie waren ihm sowie seinem früheren Verteidiger (Rechtsanwalt Jürg Federspiel) somit bekannt (angefochtener Entscheid S. 7). Gegenteiliges macht der Beschwerdeführer nicht geltend. Aus den vorinstanzlichen Akten ist ersichtlich, dass dem Beschwerdeführer vor der Konfrontationseinvernahme vom 6. Juni 2007 die Aussagen von Y._ zu einem überwiegenden Teil mündlich vorgehalten und im Übrigen die entsprechenden Protokolle zur Verfügung gestellt worden waren (vgl. vorinstanzliche Akten act. 5/4-12, act. 4/3-10 und act. 4/13 S. 2).
Soweit der Beschwerdeführer rügt, er habe anlässlich der Einvernahme vom 6. Juni 2007 Ergänzungsfragen stellen wollen, dies sei ihm jedoch vom einvernehmenden Staatsanwalt verunmöglicht worden, findet sein Vorbringen weder im fraglichen Einvernahmeprotokoll noch in den übrigen vorinstanzlichen Akten eine Stütze. Vielmehr stellte der Beschwerdeführer im Rahmen der ersten Konfrontation der Auskunftsperson zwei Fragen und hatte der amtliche Verteidiger keine Ergänzungsfragen (act. 4/13 S. 5 f.). Ob der Beschwerdeführer die Möglichkeit einer späteren, zweiten Konfrontation eingeräumt haben wollte, um sich ausreichend vorbereiten zu können (vgl. Protokollnotizen act. 4/13 S. 2 und 6), kann dahingestellt bleiben. Der Beschwerdeführer bringt (abgesehen vom zeitlichen, aber aktenwidrigen Argument) nicht vor, es sei ihm am 6. Juni 2007 nicht möglich gewesen, die Auskunftsperson mit weiteren Fragen zu konfrontieren. Insbesondere macht er nicht geltend, er sei mangels genügender Vorbereitung, Instruktion o.ä. nicht in der Lage gewesen, sein Fragerecht auszuüben. Er zeigt somit nicht auf, dass ihm am 6. Juni 2007 keine Möglichkeit eingeräumt worden war, die Befragung angemessen und ausreichend auszuüben und seine Verteidigungsrechte wirksam wahrzunehmen. Der Hinweis, dass er im Rahmen der ersten Konfrontation nur wenige Ergänzungsfragen stellte, vermag daran nichts zu ändern. Die Beschwerde ist in diesem Punkt abzuweisen.
3.4.4 Selbst wenn angenommen würde, dass der Beschwerdeführer seine Verteidigungsrechte anlässlich der Konfrontationseinvernahme vom 6. Juni 2007 nicht wirksam hätte ausüben können, legt er nicht dar, inwiefern sie unter Berücksichtigung der zweiten Konfrontation vom 17. Dezember 2007 verletzt worden sind. Insbesondere zeigt er nicht auf, welche Ergänzungsfragen er zu stellen gedachte und in welcher Hinsicht die zweite Konfrontation allein auf Grund des Zeitablaufs seit der ersten Konfrontation in diesem Sinne ergebnislos blieb. Die Beschwerde ist nicht genügend substanziiert, weshalb darauf nicht einzutreten wäre. Im Übrigen liegt es auf der Hand, dass die zweite Konfrontation nicht durchgeführt werden konnte, weil der Beschwerdeführer keine Ergänzungsfragen stellen wollte. Entgegen seiner Ansicht war er am 17. Dezember 2007 gehörig amtlich verteidigt (E. 2.3 hievor). Sein Vorwurf, wonach er sein Fragerecht nicht wirksam habe ausüben können, grenzt deshalb an ein widersprüchliches Verhalten im Verfahren.
4. Soweit der Beschwerdeführer die vorinstanzliche Beweiswürdigung kritisiert (Beschwerde S. 18 f.), ist auf die Beschwerde nicht einzutreten. Dass die Vorinstanz das Willkürverbot (Art. 9 BV) verletzt haben sollte, wird vom Beschwerdeführer nicht einmal behauptet. Auch setzt er sich mit den Erwägungen im angefochtenen Entscheid nicht auseinander. Seine Beschwerde genügt in diesem Punkt den Anforderungen von Art. 106 Abs. 2 BGG nicht.
Ebenso wenig ist der Beschwerdeführer zu hören, soweit er keine sachliche Kritik am vorinstanzlichen Entscheid übt, sondern der Untersuchungsbehörde respektive der Vorinstanz u.a. eine "Massakrierung" des Rechts sowie "Zynismus" etc. vorwirft und damit den gebotenen prozessualen Anstand nicht wahrt (Art. 42 Abs. 6 BGG).
5. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Verbeiständung ist abzuweisen, da die Beschwerde von vornherein aussichtslos war (Art. 64 Abs. 1 BGG e contrario).
Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 Satz 1 BGG). Seinen angespannten finanziellen Verhältnissen ist mit reduzierten Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 15. Februar 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Faga