Sachverhalt: A. Am 16. Juli 2009 kam es auf einer Kreuzung in Regensdorf zu einer Kollision zwischen den von Y._ und X._ gelenkten Personenwagen. X._ wurde dabei verletzt. Die Staatsanwaltschaft Zürich-Sihl eröffnete in der Folge eine Strafuntersuchung wegen fahrlässiger Körperverletzung, stellte diese jedoch mit Verfügung vom 30. September 2011 wieder ein. Sie hielt fest, dass Y._ die Kreuzung bei Grün, X._ dagegen bei Rot befahren hatte. Mit Schreiben vom 2. November 2011 erhob X._ Beschwerde gegen die Einstellungsverfügung. Am 19. Januar 2012 stellte er zudem ein Gesuch um Wiederherstellung der Beschwerdefrist. Mit Beschluss vom 3. April 2012 wies das Obergericht des Kantons Zürich das Wiederherstellungsgesuch ab und trat auf die Beschwerde wegen Fristversäumnis nicht ein. B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 25. April 2012 beantragt X._, der Beschluss des Obergerichts und die ihm zugrunde liegenden Beschlüsse seien aufzuheben und die Beschwerdefrist sei wiederherzustellen. Weiter beantragt er, die Strafuntersuchung gegen den Beschwerdegegner sei weiterzuführen und dieser sei zu bestrafen. Die gegen ihn selbst verhängte Strafe sei dagegen aufzuheben. Das Obergericht hat auf eine Stellungnahme verzichtet. Der Beschwerdegegner und die Staatsanwaltschaft Zürich-Sihl haben sich nicht vernehmen lassen.