Erwägungen:
1. X._ reichte am 5. Januar 2010 bei der Staatsanwaltschaft Zürich-Sihl eine Strafanzeige gegen Y._ wegen Ehrverletzungstatbeständen ein. Die Staatsanwaltschaft verneinte am 19. Januar 2010 ihre Zuständigkeit und machte den Anzeiger darauf aufmerksam, dass Ehrverletzungsklagen im Kanton Zürich im Privatstrafklageverfahren vom Betroffenen selber zu betreiben sind. Der Anzeiger habe im vorliegenden Fall das Ehrverletzungsverfahren gemäss § 309 StPO/ZH beim zuständigen Friedensrichter anhängig zu machen.
2. Am 26. Januar 2010 erhob X._ beim Bezirksgericht Zürich Anklage gegen Y._ wegen Ehrverletzung durch die Medien. Mit Verfügung vom 28. Januar 2010 trat der Einzelrichter in Strafsachen des Bezirkes Zürich auf die Anklage nicht ein und überwies die Akten an das Friedensrichteramt der Stadt Zürich zur weiteren Behandlung. Die Verfahrenskosten auferlegte er X._. Gegen diese Verfügung erhob X._ Rekurs und ersuchte um unentgeltliche Rechtspflege. Die III. Strafkammer des Obergerichts des Kantons Zürich wies mit Beschluss vom 7. Mai 2010 den Rekurs sowie das Gesuch um Gewährung der unentgeltlichen Rechtspflege ab und auferlegte dem Rekurrenten die Gerichtsgebühr.
3. X._ führt mit Eingabe vom 31. Mai 2010 Beschwerde in Strafsachen gegen den Beschluss der III. Strafkammer des Obergerichts des Kantons Zürich. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
4. Mit dem angefochtenen Beschluss wird das Strafverfahren gegen den Angeschuldigten nicht abgeschlossen. Beim angefochtenen Entscheid handelt es sich daher um einen Zwischenentscheid.
5. Gemäss Art. 92 Abs. 1 BGG ist die Beschwerde gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren zulässig. Es stellt sich somit die Frage, ob es sich beim angefochtenen Beschluss um einen Zwischenentscheid über die Zuständigkeit im Sinne von Art. 92 Abs. 1 BGG handelt.
Nach dem Gesetz betreffend den Strafprozess vom 4. Mai 1919 (StPO) sind Ehrverletzungsklagen vom Antragsberechtigten auf dem Weg der Privatklage zu betreiben (§ 287 StPO). Das zürcherische Privatstrafklageverfahren unterscheidet dabei zwischen Ehrverletzung durch die Medien (§ 294 ff. StPO) und anderer Ehrverletzungen (§ 309 ff. StPO). Im letzteren Fall ist die Anklage beim Friedensrichter (statt beim Bezirksgerichtspräsidenten), der einen Aussöhnungsversuch durchzuführen hat, anhängig zu machen. In beiden Fällen entscheidet aber der Bezirksgerichtspräsident über die Zulassung der Anklage (§§ 296, 305 und 313 StPG). Die Hauptverhandlung findet dann vor dem Bezirksgericht bzw. dem Einzelrichter statt. Die Zuweisung einer Ehrverletzung in das Verfahren der Ehrverletzung durch die Medien im Sinne von § 294 ff. StPO oder in das Verfahren anderer Ehrverletzungen (§ 309 ff. StPO) beinhaltet somit keinen Streit über die Zuständigkeit im Sinne von Art. 92 Abs. 1 BGG.
6. 6.1 Gegen andere selbständig eröffnete Vor- und Zwischenentscheide ist die Beschwerde ans Bundesgericht gemäss Art. 93 Abs. 1 BGG zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder - was indes hier von vornherein ausser Betracht fällt - wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
Die Eintretensvoraussetzungen von Art. 93 Abs. 1 BGG sollen das Bundesgericht entlasten. Dieses soll sich möglichst nur einmal mit einer Sache befassen und sich überdies nicht bereits in einem frühen Verfahrensstadium ohne genügend umfassende Sachverhaltskenntnis teilweise materiell festlegen müssen. Können allfällige Nachteile in verhältnismässiger Weise auch noch mit einer bundesgerichtlichen Beurteilung nach Ausfällung des Endentscheids behoben werden, so tritt das Bundesgericht auf gegen Vor- und Zwischenentscheide gerichtete Beschwerden nicht ein (BGE 135 II 30 E. 1.3.2 S. 34 f.).
6.2 Im Verfahren der Beschwerde in Strafsachen setzt Art. 93 Abs. 1 lit. a BGG das Vorliegen eines Nachteils rechtlicher Natur voraus, der auch durch einen günstigen Endentscheid nachträglich nicht mehr behoben werden könnte (BGE 134 IV 43 E. 2.1 S. 45). Es obliegt dabei dem Beschwerdeführer darzutun, dass die Eintretensvoraussetzungen von Art. 93 BGG erfüllt sind (BGE 134 III 426 E. 1.2; 133 III 629 E. 2.3.1). Es ist nicht Aufgabe des Bundesgerichts, hierzu von Amtes wegen Nachforschungen anzustellen. Vorliegend äussert sich der Beschwerdeführer nicht zu den Eintretensvoraussetzungen von Art. 93 BGG. Die Beschwerde enthält somit insoweit keine hinreichende Begründung im Sinne von Art. 42 Abs. 2 BGG. Hinzu kommt, dass ein rechtlich nicht wieder gutzumachender Nachteil auch nicht ersichtlich ist.
6.3 Zusammenfassend ergibt sich, dass auf die Beschwerde im vereinfachten Verfahren nach Art. 108 Abs. 1 BGG nicht einzutreten ist.
7. Angesichts der Aussichtslosigkeit des Verfahrens ist dem Gesuch um unentgeltliche Rechtspflege nicht zu entsprechen (Art. 64 BGG). Entsprechend dem Verfahrensausgang trägt somit der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Bezirksgericht Zürich, Einzelrichter in Strafsachen, und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 8. Juni 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Pfäffli