Sachverhalt:
A. Am 16. Juli 2009 kam es auf einer Kreuzung in Regensdorf zu einer Kollision zwischen den von Y._ und X._ gelenkten Personenwagen. X._ wurde dabei verletzt. Die Staatsanwaltschaft Zürich-Sihl eröffnete in der Folge eine Strafuntersuchung wegen fahrlässiger Körperverletzung, stellte diese jedoch mit Verfügung vom 30. September 2011 wieder ein. Sie hielt fest, dass Y._ die Kreuzung bei Grün, X._ dagegen bei Rot befahren hatte.
Mit Schreiben vom 2. November 2011 erhob X._ Beschwerde gegen die Einstellungsverfügung. Am 19. Januar 2012 stellte er zudem ein Gesuch um Wiederherstellung der Beschwerdefrist. Mit Beschluss vom 3. April 2012 wies das Obergericht des Kantons Zürich das Wiederherstellungsgesuch ab und trat auf die Beschwerde wegen Fristversäumnis nicht ein.
B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 25. April 2012 beantragt X._, der Beschluss des Obergerichts und die ihm zugrunde liegenden Beschlüsse seien aufzuheben und die Beschwerdefrist sei wiederherzustellen. Weiter beantragt er, die Strafuntersuchung gegen den Beschwerdegegner sei weiterzuführen und dieser sei zu bestrafen. Die gegen ihn selbst verhängte Strafe sei dagegen aufzuheben.
Das Obergericht hat auf eine Stellungnahme verzichtet. Der Beschwerdegegner und die Staatsanwaltschaft Zürich-Sihl haben sich nicht vernehmen lassen.

Erwägungen:
1. 1.1 Der angefochtene Entscheid betrifft die Einstellung einer Strafuntersuchung. Dagegen ist die Beschwerde in Strafsachen nach <ref-law> gegeben.
Die Einstellungsverfügung datiert vom 30. September 2011. Anwendbar ist deshalb die am 1. Januar 2011 in Kraft getretene Schweizerische Strafprozessordnung (StPO; SR 312.0; siehe Art. 453 f. StPO und <ref-ruling> E. 1.1 S. 221 mit Hinweisen).
1.2 Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und macht geltend, das Obergericht habe durch den Nichteintretensentscheid Bundesrecht verletzt. Dazu ist er legitimiert (<ref-law>, vgl. <ref-ruling> E. 1.4 S. 44 mit Hinweisen). Der Streitgegenstand ist jedoch auf diese Frage beschränkt (Urteil 1B_82/2012 vom 2. April 2012 E. 1.2 mit Hinweisen). Deshalb kann insofern nicht auf die Beschwerde eingetreten werden, als der Beschwerdeführer darüber hinaus verlangt, die Untersuchung sei wieder aufzunehmen und der Beschwerdegegner sei zu bestrafen. Nicht einzutreten ist zudem auf den Antrag auf Aufhebung der gegen den Beschwerdeführer selbst verhängten Strafe. Dieses Vorbringen betrifft nicht das vorliegende Verfahren, wo es um die Einstellungsverfügung vom 30. September 2011 geht (vgl. <ref-law>).
2. 2.1 Der Beschwerdeführer bringt vor, er habe die Frist zur Beschwerde ans Obergericht wegen seines amtlichen Verteidigers verpasst. Dieser habe ihm die Einstellungsverfügung zwar zugestellt, ihn aber nicht auf den Fristenlauf aufmerksam gemacht. Gleich nach dem 20. Oktober 2011 habe er mehrfach um einen Besprechungstermin gebeten und auch gesagt, dass er mit der Einstellungsverfügung nicht einverstanden sei. Er sei von seinem Anwalt aber erst am 31. Oktober 2011 empfangen worden. Als er erfahren habe, dass die Rechtsmittelfrist bereits abgelaufen war, habe er sich mit Schreiben vom 2. November 2011 umgehend an die Staatsanwaltschaft gewendet. Er habe erwartet, dass die Frist wiederhergestellt würde, zumal ihn an der Verspätung kein Verschulden treffe. In dieser Hinsicht sei zu berücksichtigen, dass er der deutschen Sprache nur sehr beschränkt mächtig sei.
2.2 Das Obergericht führte zur Begründung seines Entscheids aus, der Beschwerdeführer sei im Strafverfahren durch einen Rechtsanwalt vertreten gewesen. Diesem sei die Einstellungsverfügung am 17. Oktober 2011 zugestellt worden. Die Beschwerdefrist habe am 18. Oktober 2011 zu laufen begonnen und am 27. Oktober 2011 geendet. Die Beschwerde vom 2. November 2011 sei somit verspätet gewesen. Die Voraussetzungen für eine Fristwiederherstellung nach <ref-law> seien nicht erfüllt. Der Beschwerdeführer sei auch ohne die Unterstützung seines Verteidigers in der Lage gewesen, innert Frist eine Beschwerde einzureichen. Nach seiner eigenen Darstellung habe er nämlich die Einstellungsverfügung soweit verstanden, dass er damit nicht einverstanden gewesen sei und sie habe anfechten wollen. Dass der Verteidiger dem Beschwerdeführer innert Frist keinen Besprechungstermin gewährt habe, habe rechtzeitiges Handeln nicht verunmöglicht. Mangelnde Sprachkenntnis entschuldige das Versäumen einer Rechtsmittelfrist nicht. Abgesehen davon habe der Beschwerdeführer mit seinen Eingaben vom 2. und 29. November 2011 gezeigt, dass er auch ohne anwaltlichen Beistand in der Lage sei, fristgemäss ein Rechtsmittel einzulegen.
2.3 Hat eine Partei eine Frist versäumt und würde ihr daraus ein erheblicher und unersetzlicher Rechtsverlust erwachsen, so kann sie gemäss <ref-law> die Wiederherstellung der Frist verlangen; dabei hat sie glaubhaft zu machen, dass sie an der Säumnis kein Verschulden trifft.
Das Obergericht hat zu Recht darauf hingewiesen, dass mangelnde Sprachkenntnis das Versäumen einer Rechtsmittelfrist nicht zu entschuldigen vermag (Urteile 1C_147/2011 vom 11. Januar 2012 E. 2.3, in: SJ 2012 I S. 197; 1P.232/2006 vom 3. Juli 2006 E. 3.3; je mit Hinweisen). Zudem hat der Beschwerdeführer die Einstellungsverfügung nach eigenen Angaben immerhin soweit verstanden, dass er sich darüber klar werden konnte, dass er damit nicht einverstanden war und ein Rechtsmittel einlegen wollte. Nachdem ihm sein Rechtsvertreter die Verfügung zugestellt hatte, reagierte er denn auch umgehend und bat diesen mehrfach um einen Besprechungstermin. Der Beschwerdeführer räumt selber ein, dass ihm klar war, dass eine Rechtsmittelfrist am Laufen sei. Er hätte sich um deren Einhaltung kümmern müssen, wenn er ein Rechtsmittel einlegen wollte. Unter diesen Voraussetzungen ist der Vorinstanz keine Verletzung von <ref-law> vorzuwerfen, wenn sie zum Schluss kam, der Beschwerdeführer habe die Säumnis verschuldet. Dass ihn sein Rechtsvertreter, der offenbar eine Beschwerde als nicht sinnvoll ansah, angeblich nicht explizit auf die laufende Rechtsmittelfrist hinwies, ändert an diesem Ergebnis nichts. Abgesehen von schwerwiegenden Fehlleistungen, insbesondere in Fällen der notwendigen Verteidigung, hat sich der Vertretene das Verhalten seines Vertreters anrechnen zu lassen (Urteile 6B_60/2010 vom 12. Februar 2010 E. 2; 2C_645/2008 vom 24. Juni 2009 E. 2.3; 6B_768/2007 vom 27. Juni 2008 E. 1; je mit Hinweisen). Die Rüge ist deshalb unbegründet.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Der Beschwerdeführer beantragt, es seien ihm keine Gerichtskosten aufzuerlegen. Da die gesetzlichen Voraussetzungen erfüllt sind, ist dem Antrag stattzugeben (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, der Staatsanwaltschaft Zürich-Sihl und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 31. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold