Sachverhalt: A. Das Bezirksgericht Zürich verurteilte X._ am 6. Juli 2010 wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz (aArt. 19 Ziff. 1 Abs. 4 und 5 BetmG in Verbindung mit aArt. 19 Ziff. 2 lit. a BetmG; Anklageziffern 1.2, 1.3, 1.6, 2.1 und 2.2) zu einer Freiheitsstrafe von 3 1⁄2 Jahren, unter Anrechnung von 509 Tagen Untersuchungs- und Sicherheitshaft. Ausserdem widerrief es die vom Bezirksgericht Zürich am 12. Juli 2006 ausgefällte bedingte Gefängnisstrafe von fünf Monaten und die vom Tribunal de police de Genève am 10. November 2006 ausgesprochene bedingte Gefängnisstrafe von acht Monaten, unter Anrechnung von 158 Tagen erstandener Haft. Das Bezirksgericht sprach X._ von den Vorwürfen der Widerhandlung gegen das Betäubungsmittelgesetz gemäss Anklageziffern 1.1, 1.4, 1.5 und 2.2 frei. B. Auf Berufung von X._ hin verurteilte ihn das Obergericht des Kantons Zürich am 4. April 2011 wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz (aArt. 19 Ziff. 1 Abs. 4-6 BetmG in Verbindung mit aArt. 19 Ziff. 2 lit. a BetmG; Anklageziffern 1.6, 2.1 und 2.2) zu einer Freiheitsstrafe von 39 Monaten, unter Anrechnung von 781 Tagen Untersuchungs- und Sicherheitshaft. Ausserdem widerrief es die erwähnten bedingt ausgesprochenen früheren Gefängnisstrafen. Das Obergericht sprach X._ von den Vorwürfen der Widerhandlung gegen das Betäubungsmittelgesetz gemäss Anklageziffern 1.1-1.5 frei. C. Das Obergericht sieht es als erwiesen an, dass X._ (zusammen mit A._) am 26. September 2008 mit seinem Fahrzeug einen unbekannten bulgarischen Drogenkurier von Zürich nach Adliswil lotste, wo unter anderem A._ im Auftrag von X._ eine unbekannte Menge Heroin, mindestens jedoch 250-300 Gramm, aus der Autobatterie des Fahrzeugs mit bulgarischen Kennzeichen ausbaute und an den Empfänger in Adliswil übergab (Anklagepunkt 1.6). Weiter übergab X._ Ende Januar 2009 B._ an dessen Wohnort in Adliswil zwei Blöcke Heroin zu ca. 500 Gramm und in Zürich ein Säcklein mit ca. 50 Gramm Kokain. B._ übergab die Drogen auf Anweisung von X._ an C._ in dessen Wohnung. Dafür erhielt er Fr. 3'000.-- oder Fr. 3'500.--, die er X._ aushändigte (Anklagepunkt 2.1). Schliesslich übergab X._ am 10. Februar 2009 B._ in Adliswil zwei Blöcke Heroin zu ca. 500 Gramm, der diese auf Anweisung von X._ vorerst in seiner Wohnung in Adliswil zwischenlagern und einen der Blöcke am Folgetag in Zürich abliefern sollte, wo er verhaftet wurde (Anklagepunkt 2.2). D. X._ erhebt Beschwerde in Strafsachen. Er beantragt, das Urteil des Obergerichts des Kantons Zürich vom 4. April 2011 sei aufzuheben, und er sei vom Vorwurf der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz (aArt. 19 Ziff. 1 Abs. 4-6 BetmG in Verbindung mit aArt. 19 Ziff. 2 lit. a BetmG Anklageziffern 1.6, 2.1 und 2.2) freizusprechen und angemessen zu entschädigen. Eventualiter sei das Urteil des Obergerichts aufzuheben und die Sache zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. X._ beantragt ausserdem die unentgeltliche Rechtspflege und Verbeiständung. E. Das Obergericht des Kantons Zürich verzichtet auf eine Vernehmlassung. Die Staatsanwaltschaft des Kantons Zürich beantragt sinngemäss Abweisung der Beschwerde. Der Beschwerdeführer reichte zusätzliche Gegenbemerkungen ein.