Sachverhalt: A. Die Staatsanwaltschaft IV des Kantons Zürich führt eine Strafuntersuchung gegen den Arzt X._ wegen fahrlässiger Tötung. Es bestehe die Möglichkeit, dass er den Tod von Z._ in Verletzung seiner Sorgfaltspflichten (mit-)verursacht habe. Ende März 2010 war Z._ bei ihm wegen Schmerzen an der Schulter in Behandlung. Dabei soll der Verdacht auf eine Lungenembolie geäussert worden sein. Am 3. April 2010 ist Z._ auf einem Campingplatz in Churwalden zusammengebrochen und gestorben. Die Verstorbene wurde am selben Tag an das Kantonsspital Graubünden in Chur (Institut für Pathologie und Rechtsmedizin) überwiesen. Nach dem vorläufigen Obduktionsbericht dieses Instituts vom 6. April 2010 starb Z._ an den Folgen einer zentralen Lungenembolie. Am 11. Mai 2010 fragte das Untersuchungsrichteramt Chur das Institut für Pathologie und Rechtsmedizin Chur an, ob und inwiefern die ärztliche Behandlung durch X._ mit dem Tod von Z._ zusammenhänge. Das Institut erstattete am 10. November 2010 zu dieser Frage ein Gutachten, dem es einen zusammenfassenden Obduktionsbericht vom 25. August 2010 und das Obduktionsprotokoll vom 8. April 2010 beilegte. Am 25. November 2010 ersuchte das Untersuchungsrichteramt die Gutachter um Bestätigung, dass sie das Gutachten im Wissen um die Wahrheitspflicht erstellt hätten und ihnen die strafrechtlichen Folgen für ein falsches Gutachten gemäss Art. 307 Abs. 1 StGB bekannt seien. Die beiden Gutachter bestätigten dies mit Schreiben vom 29. November 2010. Am 7. November 2011 beauftragte die neu zuständige Staatsanwaltschaft IV des Kantons Zürich den Arzt Y._ mit der Erstellung eines weiteren Gutachtens. Mit Schreiben vom 8. November 2011 verlangte X._, dass das Gutachten des Instituts für Pathologie und Rechtsmedizin Chur aus den Akten gewiesen werde. Die Staatsanwaltschaft habe das Gutachten Y._ zur Kenntnis gebracht, weshalb dieser nun befangen sei. Die Staatsanwaltschaft wies die Anträge am 11. November 2011 und nach erneuter Einreichung am 22. November 2011 ab. Eine dagegen von X._ erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 5. Juni 2012 ab. Zudem wies es das gegen Y._ eingereichte Ausstandsbegehren ab. B. Mit Beschwerde an das Bundesgericht vom 7. Juli 2012 beantragt X._, der Beschluss des Obergerichts vom 5. Juni 2012 sei aufzuheben und die Staatsanwaltschaft sei anzuweisen, Y._ den erteilten Gutachtensauftrag zu entziehen und einen neuen den Anforderungen von Art. 183 StPO genügenden Gutachter zu bestellen. Zudem sei die Staatsanwaltschaft anzuweisen, das Gutachten des Instituts für Pathologie und Rechtsmedizin Chur vom 10. November 2010 aus den Untersuchungsakten zu entfernen. Das Obergericht, die Staatsanwaltschaft und Y._ verzichten auf eine Stellungnahme zur Beschwerde.