Erwägungen:
1. Die Staatsanwaltschaft Zürich-Sihl führt gegen X._, der sich seit dem 27. Juli 2010 in Untersuchungshaft befindet, eine Strafuntersuchung wegen Widerhandlung gegen das Betäubungsmittelgesetz. Am 10. November 2010 stellte X._ ein Gesuch um Wechsel seines amtlichen Verteidigers. Diesem Gesuch wurde entsprochen, sodass X._ fortan antragsgemäss durch Rechtsanwalt Daniel Christe amtlich verteidigt wurde.
Am 17. Februar 2011 ersuchte X._ erneut um Wechsel des amtlichen Verteidigers. Am 23. Februar 2011 bestätigte der amtliche Verteidiger, dass er aus seiner Sicht in der Lage sei, den Angeschuldigten weiterhin gehörig zu verteidigen. Die Oberstaatsanwaltschaft des Kantons Zürich wies das Gesuch um Wechsel des amtlichen Verteidigers mit Verfügung vom 24. Februar 2011 ab. Dagegen erhob X._ Beschwerde. Die III. Strafkammer des Obergerichts des Kantons Zürich wies die Beschwerde mit Beschluss vom 20. April 2011 ab.
2. X._ führt gegen den Beschluss der III. Strafkammer des Obergerichts des Kantons Zürich mit Eingabe vom 18. Mai 2011 (Postaufgabe 19. Mai 2011) Beschwerde in Strafsachen. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
3. Nach Art. 42 Abs. 2 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe.
Der Beschwerdeführer, der keinen zulässigen Beschwerdegrund nennt, setzt sich mit den Ausführungen des Obergerichts, die zur Abweisung seiner Beschwerde führten, nicht auseinander und vermag nicht darzulegen, inwiefern das Obergericht dabei Recht im Sinne von Art. 42 Abs. 2 BGG verletzt haben sollte. Da die vom Beschwerdeführer vorgebrachten Ausführungen keine hinreichende Auseinandersetzung mit den Entscheidgründen des angefochtenen Beschlusses darstellen, ist mangels einer genügenden Begründung im Sinne von Art. 42 Abs. 2 BGG auf die Beschwerde nicht einzutreten. Der Begründungsmangel ist offensichtlich, weshalb über die Beschwerde im vereinfachten Verfahren nach Art. 108 Abs. 1 lit. b BGG entschieden werden kann.
Bei diesem Ausgang des Verfahrens kann offen bleiben, ob es sich beim angefochtenen Beschluss überhaupt um einen anfechtbaren Entscheid im Sinne von Art. 93 Abs. 1 BGG handelt.
4. Die Beschwerde erweist sich nach dem Gesagten als offensichtlich aussichtslos. Das sinngemäss gestellte Gesuch um Gewährung der unentgeltlichen Rechtspflege ist daher abzuweisen (Art. 64 BGG). Auf eine Kostenauflage kann indessen verzichtet werden (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Es werden keine Kosten erhoben.
4. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Sihl, dem weiteren Beteiligten und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 25. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Pfäffli