Sachverhalt:
A. Gegen den slowakischen und schweizerischen Staatsangehörigen X._ wurde in der Slowakei ein Strafverfahren geführt wegen "Angriffs auf eine Amtsperson sowie wegen Ausschreitung" betreffend einen Vorfall bei einer Strassenverkehrskontrolle in der Slowakei vom 6. November 2004. Mit Ersuchen vom 29. April 2009 beantragte das slowakische Justizministerium die strafrechtliche Verfolgung von X._ in der Schweiz. Das Bundesamt für Justiz überwies die Untersuchungsakten an die Oberstaatsanwaltschaft des Kantons Zürich. Mit Strafbefehl vom 11. Februar 2011 befand die Staatsanwaltschaft See/Oberland X._ schuldig der Gewalt und Drohung gegen Behörden und Beamte im Sinne von <ref-law>. Sie bestrafte ihn mit einer bedingt vollziehbaren Geldstrafe von 20 Tagessätzen zu je Fr. 30.-- bei einer Probezeit von 2 Jahren und zu einer Busse von Fr. 300.--. Auf Einsprache von X._ hin stellte die Staatsanwaltschaft das Strafverfahren wegen Gewalt und Drohung gegen Beamte mit Verfügung vom 14. Oktober 2011 ein. Die Verfahrenskosten in der Höhe von Fr. 700.-- auferlegte sie X._. Eine Entschädigung oder Genugtuung sprach sie ihm nicht zu.
Auf Beschwerde von X._ hin verfügte das Obergericht des Kantons Zürich, dass die Verfahrenskosten auf die Staatskasse genommen werden. Im Übrigen wies es die Beschwerde ab, soweit sie sich nicht als gegenstandslos erweise.
B. Mit Beschwerde vom 20. August 2012 macht X._ insbesondere geltend, das Obergericht habe seinen Antrag, der gegen ihn erlassene internationale Haftbefehl sei wirksam zurückzunehmen, zu Unrecht als gegenstandslos bezeichnet. Weiter verlangt er eine Entschädigung und Genugtuung für das gegen ihn geführte Strafverfahren. Ausserdem ersucht er sinngemäss um unentgeltliche Rechtspflege.
Das Bundesgericht verzichtet auf einen Schriftenwechsel und den Beizug der Vorakten (Art. 102 Abs. 1 und 2 BGG).

Erwägungen:
1. 1.1 Die vorliegende Angelegenheit betrifft die Einstellung einer Strafuntersuchung und damit eine Strafsache, die der Beschwerde in Strafsachen unterliegt (<ref-law>). Der Beschwerdeführer ist als Beschuldigter und Beschwerdeführer im vorinstanzlichen Verfahren zur Beschwerde berechtigt (<ref-law>). Gegenstand des Verfahrens ist die Verweigerung einer Entschädigung und Genugtuung sowie die Frage, ob das Obergericht den Antrag des Beschwerdeführers, der gegen ihn erlassene internationale Haftbefehl sei wirksam zurückzunehmen, als gegenstandslos bezeichnen durfte. Insoweit kann grundsätzlich Beschwerde beim Bundesgericht geführt werden.
1.2 Nach <ref-law> ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich ein Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Genügt die Beschwerdeschrift diesen Begründungsanforderungen nicht, so ist darauf nicht einzutreten. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>); dies setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die minimalen Begründungsanforderungen von <ref-law> erfüllt. In dieser Hinsicht erweist sich die vorliegende Beschwerde als mangelhaft. Soweit die Voraussetzungen von <ref-law> nicht erfüllt sind, kann auf die Beschwerde nicht eingetreten werden.
2. Das Obergericht kam zum Schluss, die Voraussetzungen gemäss <ref-law> (SR 312.0) für die Ausrichtung einer Entschädigung oder Genugtuung seien nicht erfüllt. Der ohne Rechtsvertretung prozessierende Beschwerdeführer mache keine konkrete Vermögenseinbusse geltend, und es sei auch nicht ersichtlich, inwiefern er durch das Verfahren der Staatsanwaltschaft in seinen persönlichen Verhältnissen verletzt worden sei. Im bundesgerichtlichen Verfahren verlangt der Beschwerdeführer eine pauschale Entschädigung und Genugtuung von Fr. 7'730.-- ohne zu belegen, worauf er diese Forderung abstützt. Damit genügt seine Beschwerde in diesem Punkt den Anforderungen von <ref-law> nicht, weshalb darauf nicht weiter einzugehen ist.
3. Weiter verlangt der Beschwerdeführer, der gegen ihn erlassene internationale Haftbefehl sei wirksam zurückzunehmen. Das Obergericht habe diesen Antrag zu Unrecht als gegenstandslos bezeichnet.
Das Obergericht hat berücksichtigt, dass der Beschwerdeführer von keiner schweizerischen Behörde zur Verhaftung ausgeschrieben wurde und die Aufhebung des vom Kreisgericht Martin/Slowakei am 27. September 2006 erlassenen Haftbefehls in die Zuständigkeit der slowakischen Behörden fällt. Nachdem das Strafverfahren in der Schweiz nun rechtskräftig abgeschlossen ist, werden die ergangenen Entscheidungen im Schriftverkehr zwischen den Justizministerien dem ersuchenden Staat mitgeteilt (Art. 21 des Europäischen Übereinkommens über die Rechtshilfe in Strafsachen, SR 0.351.1). Nach dem Grundsatz "ne bis in idem", der nach Art. 4 des Protokolls Nr. 7 zur EMRK (SR 0.101.07) auch in der Slowakei gilt, erscheint eine Verurteilung des Beschwerdeführers für den vorliegenden Sachverhalt in der Slowakei grundsätzlich ausgeschlossen. Die Aufrechterhaltung des Haftbefehls des slowakischen Kreisgerichts ist somit nicht zu erwarten. Es liegen keine Anhaltspunkte vor, dass sich die slowakischen Behörden nicht an ihre internationalen Verpflichtungen halten könnten. Zudem sind die schweizerischen Behörden nicht zuständig, einen ausländischen Haftbefehl aufzuheben. Insoweit ist auch nicht zu beanstanden, dass die Vorinstanz den Antrag auf Rücknahme des internationalen Haftbefehls als gegenstandslos bezeichnete.
4. Es ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann.
Da die Beschwerde als aussichtslos bezeichnet werden muss, kann dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege nicht entsprochen werden (<ref-law>). Es erscheint jedoch gerechtfertigt, ausnahmsweise auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>). Dem unterliegenden Beschwerdeführer und den in ihrem amtlichen Wirkungskreis obsiegenden Behörden steht keine Parteientschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Es werden keine Gerichtskosten erhoben und keine Parteientschädigungen zugesprochen.
3. Dieses Urteil wird den Parteien, der Staatsanwaltschaft See/Oberland, der Oberstaatsanwaltschaft und dem Obergericht des Kantons Zürich, III. Strafkammer, sowie dem Bundesamt für Justiz schriftlich mitgeteilt.
Lausanne, 28. August 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Haag