Sachverhalt: A. Am 9. Mai 1996 wurde jemand vor einem Restaurant in Zürich erschossen. Da die Täterschaft nicht ermittelt werden konnte, sistierte die Staatsanwaltschaft des Kantons Zürich mit Verfügung vom 8. September 1997 die Strafuntersuchung. Im Herbst 2000 ging bei der Stadtpolizei Zürich ein Hinweis auf eine mögliche Täterschaft des serbischen Staatsangehörigen X._ ein. In der Folge wurde die Strafuntersuchung wieder aufgenommen und auf diesen ausgedehnt. Mit Rechtshilfeersuchen vom 2. Februar 2001 bat die Bezirksanwaltschaft Zürich die zuständige Behörde der Bundesrepublik Jugoslawien, X._, der sich damals dort wegen eines anderen Tötungsdelikts in Untersuchungshaft befand, untersuchungsrichterlich zu befragen. Am 1. Oktober 2001 sandte das Bundesamt für Justiz der Bezirksanwaltschaft das Protokoll der durch den jugoslawischen Untersuchungsrichter durchgeführten Befragung von X._ vom 9. Juli 2001 zu. Darin stelle dieser jede Beteiligung am in der Schweiz verübten Tötungsdelikt in Abrede. Mit Rechtshilfeersuchen vom 16. September 2002 bat die damalige Bezirksanwaltschaft V für den Kanton Zürich die zuständige jugoslawische Behörde um die untersuchungsrichterliche Einvernahme eines Zeugen. Am 23. Dezember 2002 sistierte die Staatsanwaltschaft des Kantons Zürich das Verfahren bis zur Erledigung des Rechtshilfeersuchens vom 16. September 2002. Am 25. Juli 2008 sowie am 16. Juni und 11. November 2009 veranlasste die Staatsanwaltschaft IV des Kantons Zürich Nachforschungen zum Stand des Rechtshilfeersuchens und verlangte dessen Behandlung. Am 17. November 2009 teilte das Bundesamt für Justiz der Staatsanwaltschaft IV mit, die serbischen Behörden hätten in offensichtlicher Verkennung des Inhalts des Rechtshilfeersuchens dieses mitsamt Beilagen am 31. August 2009 X._ ausgehändigt. Am 7. Juli 2010 ersuchte die Staatsanwaltschaft IV das Justizministerium der Republik Serbien um die Übernahme der Strafuntersuchung. B. Mit Verfügung vom 10. Februar 2010 verweigerte die Staatsanwaltschaft IV dem Verteidiger von X._ die Einsicht in die Verfahrensakten. Den von X._ dagegen erhobenen Rekurs wies die Oberstaatsanwaltschaft des Kantons Zürich am 27. Mai 2010 ab, soweit sie darauf eintrat. Die von X._ hiergegen eingereichte Beschwerde in Strafsachen hiess das Bundesgericht mit Urteil vom 19. November 2010, soweit es darauf eintrat, teilweise gut (1B_222/2010). Es stellte fest, dass die kantonalen Strafverfolgungsbehörden das Beschleunigungsgebot verletzt hatten (E. 3). C. Mit Schreiben vom 26. Januar 2011 beantragte der Verteidiger von X._ erneut Einsicht in die Verfahrensakten. Am 2. Februar 2011 lehnte die Staatsanwaltschaft IV den Antrag ab. Mit Verfügung vom 16. Februar 2011 bestätigte sie ihre Rechtsauffassung. Die von X._ hiergegen erhobene Beschwerde wies das Obergericht des Kantons Zürich (III. Strafkammer) mit Beschluss vom 17. Mai 2011 ab. D. X._ führt Beschwerde in Strafsachen mit dem Antrag, der Beschluss des Obergerichts sei aufzuheben; die kantonale Strafverfolgungsbehörde sei zu verpflichten, dem Beschwerdeführer Auskunft über den aktuellen Stand des Rechtshilfeersuchens (gemeint: vom 7. Juli 2010) an die Serbischen Behörden zu erteilen; die kantonale Strafverfolgungsbehörde sei ferner zu verpflichten, bezüglich dieses Rechtshilfeersuchens aktiv zu sein. E. Das Obergericht und die Oberstaatsanwaltschaft des Kantons Zürich haben auf Vernehmlassung verzichtet.