Sachverhalt:
A. Die Staatsanwaltschaft IV des Kantons Zürich führt eine Strafuntersuchung gegen den Arzt X._ wegen fahrlässiger Tötung. Es bestehe die Möglichkeit, dass er den Tod von Z._ in Verletzung seiner Sorgfaltspflichten (mit-)verursacht habe. Ende März 2010 war Z._ bei ihm wegen Schmerzen an der Schulter in Behandlung. Dabei soll der Verdacht auf eine Lungenembolie geäussert worden sein. Am 3. April 2010 ist Z._ auf einem Campingplatz in Churwalden zusammengebrochen und gestorben. Die Verstorbene wurde am selben Tag an das Kantonsspital Graubünden in Chur (Institut für Pathologie und Rechtsmedizin) überwiesen. Nach dem vorläufigen Obduktionsbericht dieses Instituts vom 6. April 2010 starb Z._ an den Folgen einer zentralen Lungenembolie.
Am 11. Mai 2010 fragte das Untersuchungsrichteramt Chur das Institut für Pathologie und Rechtsmedizin Chur an, ob und inwiefern die ärztliche Behandlung durch X._ mit dem Tod von Z._ zusammenhänge. Das Institut erstattete am 10. November 2010 zu dieser Frage ein Gutachten, dem es einen zusammenfassenden Obduktionsbericht vom 25. August 2010 und das Obduktionsprotokoll vom 8. April 2010 beilegte. Am 25. November 2010 ersuchte das Untersuchungsrichteramt die Gutachter um Bestätigung, dass sie das Gutachten im Wissen um die Wahrheitspflicht erstellt hätten und ihnen die strafrechtlichen Folgen für ein falsches Gutachten gemäss <ref-law> bekannt seien. Die beiden Gutachter bestätigten dies mit Schreiben vom 29. November 2010.
Am 7. November 2011 beauftragte die neu zuständige Staatsanwaltschaft IV des Kantons Zürich den Arzt Y._ mit der Erstellung eines weiteren Gutachtens. Mit Schreiben vom 8. November 2011 verlangte X._, dass das Gutachten des Instituts für Pathologie und Rechtsmedizin Chur aus den Akten gewiesen werde. Die Staatsanwaltschaft habe das Gutachten Y._ zur Kenntnis gebracht, weshalb dieser nun befangen sei. Die Staatsanwaltschaft wies die Anträge am 11. November 2011 und nach erneuter Einreichung am 22. November 2011 ab. Eine dagegen von X._ erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 5. Juni 2012 ab. Zudem wies es das gegen Y._ eingereichte Ausstandsbegehren ab.
B. Mit Beschwerde an das Bundesgericht vom 7. Juli 2012 beantragt X._, der Beschluss des Obergerichts vom 5. Juni 2012 sei aufzuheben und die Staatsanwaltschaft sei anzuweisen, Y._ den erteilten Gutachtensauftrag zu entziehen und einen neuen den Anforderungen von <ref-law> genügenden Gutachter zu bestellen. Zudem sei die Staatsanwaltschaft anzuweisen, das Gutachten des Instituts für Pathologie und Rechtsmedizin Chur vom 10. November 2010 aus den Untersuchungsakten zu entfernen.
Das Obergericht, die Staatsanwaltschaft und Y._ verzichten auf eine Stellungnahme zur Beschwerde.

Erwägungen:
1. 1.1 Gegen den angefochtenen Entscheid ist gemäss <ref-law> die Beschwerde in Strafsachen gegeben. Nach <ref-law> ist die Beschwerde zulässig gegen Entscheide letzter kantonaler Instanzen. Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 lit. a und b Ziff. 1 BGG zur Beschwerde befugt. Der angefochtene Entscheid stellt einen nach <ref-law> anfechtbaren Zwischenentscheid dar, soweit darin das Ausstandsgesuch gegen den Gutachter Y._ abgewiesen wurde.
1.2 Soweit im angefochtenen Entscheid die Unverwertbarkeit des Gutachtens des Instituts für Pathologie und Rechtsmedizin Chur vom 10. November 2010 verneint wird, liegt auch ein Zwischenentscheid vor, der das Strafverfahren nicht abschliesst.
Gegen Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (vgl. <ref-law>), ist die Beschwerde ans Bundesgericht gemäss <ref-law> zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder - was hier von vornherein ausser Betracht fällt - wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Von einem nicht wieder gutzumachenden Nachteil wird gesprochen, wenn dieser auch durch ein nachfolgendes günstiges Urteil nicht oder nicht mehr vollständig behoben werden kann (<ref-ruling> E. 1 S. 59). Im Verfahren der Beschwerde in Strafsachen muss der nicht wieder gutzumachende Nachteil im Sinne von <ref-law> nicht bloss tatsächlicher, sondern rechtlicher Natur sein (<ref-ruling> E. 4 S. 95; <ref-ruling> E. 4 S. 141). Dabei obliegt es dem Beschwerdeführer detailliert darzutun, dass die Voraussetzungen von <ref-law> erfüllt sind, soweit deren Vorliegen nicht offensichtlich ist (<ref-law>; <ref-ruling> E. 4 und 4.2 S. 95 f.; <ref-ruling> E. 1.2 S. 429; <ref-ruling> E. 2.3.1 S. 632). Ein Zwischenentscheid, der nach Art. 93 Abs. 1 und 2 BGG nicht angefochten werden kann oder trotz Anfechtungsmöglichkeit nicht beanstandet wurde, ist durch Beschwerde gegen den Endentscheid anfechtbar, soweit er sich auf dessen Inhalt auswirkt (<ref-law>).
Der Beschwerdeführer äussert sich in der Beschwerde zur Voraussetzung des nicht wieder gutzumachenden Nachteils im Sinne von <ref-law> nicht. Nach der Rechtsprechung liegt im blossen Umstand, dass ein Sachrichter von angeblich unverwertbaren Beweismitteln Kenntnis nehmen könnte, kein Rechtsnachteil im Sinne von <ref-law>. Es ist nicht ersichtlich und wird vom Beschwerdeführer auch nicht dargelegt, inwiefern ein solcher Rechtsnachteil bestehen sollte, wenn der zweite Gutachter vom angeblich unverwertbaren Gutachten des Instituts für Pathologie und Rechtsmedizin Kenntnis bekommt. Es kann gerade die Aufgabe des erkennenden Gerichts sein, geltend gemachte Beweisverwertungsverbote zu prüfen. Vor der rechtskräftigen Beurteilung sieht das Gesetz denn auch keine definitive Entfernung oder Unkenntlichmachung von Beweismitteln vor, deren Verwertbarkeit bloss streitig ist (vgl. <ref-law>). Die in diesem Zusammenhang aufgeworfenen strafprozessualen Fragen sind nicht schon im jetzigen Verfahrensstadium durch das Bundesgericht zu beurteilen (Urteil des Bundesgerichts 1B_584/2011 vom 12. Dezember 2011, E. 3.2; vgl. <ref-ruling> E. 4.1 S. 95 f. mit Hinweis). Auf die Beschwerde ist somit in Bezug auf die Verwertbarkeit des Gutachtens des Instituts für Pathologie und Rechtsmedizin nicht einzutreten.
1.3 Die übrigen Sachurteilsvoraussetzungen sind erfüllt, weshalb auf die Beschwerde in Bezug auf das Ausstandsgesuch gegen den Gutachter Y._ einzutreten ist.
2. 2.1 Nach <ref-law> gelten für Sachverständige die Ausstandsgründe nach <ref-law>. Eine in einer Strafbehörde tätige Person tritt in Ausstand, wenn sie aus anderen als den in Art. 56 lit. a-e StPO genannten Gründen befangen sein könnte (<ref-law>). Gemäss <ref-law> und Art. 6 Ziff. 1 EMRK hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter entschieden wird. Diese Verfahrensgarantie wird nach der Rechtsprechung des Bundesgerichts sinngemäss auch auf das Erfordernis der Unabhängigkeit und Unparteilichkeit von Sachverständigen übertragen (<ref-ruling> E. 7.1 S. 109; <ref-ruling> E. 3c S. 253; je mit Hinweis).
2.2 Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters bzw. des Sachverständigen zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters bzw. Sachverständigen oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter bzw. Sachverständige tatsächlich befangen ist (<ref-ruling> E. 3.1 S. 210 mit Hinweisen). Der Anschein der Befangenheit und Voreingenommenheit kann auch dadurch erweckt werden, dass die sachverständige Person in einem früheren Zeitpunkt in amtlicher Funktion mit der konkreten Sache schon zu tun hatte (sogenannte Vorbefassung). Die blosse wiederholte Begutachtung durch denselben Sachverständigen vermag indessen für sich allein nicht den Anschein der Befangenheit hervorzurufen. Eine unzulässige Vorbefassung liegt auch dann nicht vor, wenn der Sachverständige zu (für eine Partei) ungünstigen Schlussfolgerungen gelangt ist. Anderes gilt, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit objektiv zu begründen vermögen, etwa wenn der Sachverständige seinen Bericht nicht neutral und sachlich abfasste (<ref-ruling> E. 7.2.2 S. 110 mit Hinweis).
2.2 Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters bzw. des Sachverständigen zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters bzw. Sachverständigen oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter bzw. Sachverständige tatsächlich befangen ist (<ref-ruling> E. 3.1 S. 210 mit Hinweisen). Der Anschein der Befangenheit und Voreingenommenheit kann auch dadurch erweckt werden, dass die sachverständige Person in einem früheren Zeitpunkt in amtlicher Funktion mit der konkreten Sache schon zu tun hatte (sogenannte Vorbefassung). Die blosse wiederholte Begutachtung durch denselben Sachverständigen vermag indessen für sich allein nicht den Anschein der Befangenheit hervorzurufen. Eine unzulässige Vorbefassung liegt auch dann nicht vor, wenn der Sachverständige zu (für eine Partei) ungünstigen Schlussfolgerungen gelangt ist. Anderes gilt, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit objektiv zu begründen vermögen, etwa wenn der Sachverständige seinen Bericht nicht neutral und sachlich abfasste (<ref-ruling> E. 7.2.2 S. 110 mit Hinweis).
2.3 Der Beschwerdeführer macht geltend, es liege eine prozessuale Situation vor, in der bei objektiver Betrachtungsweise die Befangenheit des Gutachters Y._ zu bejahen sei. Nachdem die Staatsanwaltschaft dem Gutachter das nicht verwertbare Gutachten des Instituts für Pathologie und Rechtsmedizin Chur zugestellt habe, sei davon auszugehen, dass der Gutachter dieses auch zur Kenntnis genommen habe. Damit sei er in seiner Beurteilung nicht mehr unabhängig, sondern vom früheren Gutachten beeinflusst. In Fällen, in denen nicht gerade die Überprüfung eines anderen Gutachtens Gegenstand des Auftrags sei, sei sorgfältig abzuwägen, ob dem Sachverständigen bereits vorhandene Gutachten übergeben werden sollten. Im Interesse, den Sachverständigen vor einer Beeinflussung durch Erkenntnisse anderer Fachkollegen zu schützen, sei hier Zurückhaltung zu üben (MARIANNE HEER, in: Kommentar StPO, N. 32 zu <ref-law>).
2.4 Nach <ref-law> übergibt die Verfahrensleitung der sachverständigen Person zusammen mit dem Auftrag die zur Erstellung des Gutachtens notwendigen Akten und Gegenstände. Die Vorinstanz hält im angefochtenen Entscheid fest, dass das Gutachten des Instituts für Pathologie und Rechtsmedizin Chur nicht zu den notwendigen Akten im Sinne von <ref-law> gehöre. Die Zustellung an den Gutachter Y._ begründe jedoch nicht den Anschein der Befangenheit.
Das Bundesgericht hat mit Urteil 1P.596/2004 vom 7. Dezember 2004 E. 3 erkannt, es sei nicht anzunehmen, dass neue Gutachter nicht mehr unabhängig und unbefangen seien, nachdem sie das erste Gutachten gelesen hätten. Entgegen der Auffassung des Beschwerdeführers ist nicht einzusehen, weshalb diese Rechtsprechung für die vorliegende Angelegenheit keine Bedeutung haben sollte. Es bestehen keine Hinweise, dass der neue Gutachter seine Beurteilung nicht mehr unabhängig und unparteiisch abgeben könnte. Der Gutachter bringt zutreffend vor, dass es im zu erstellenden Gutachten um seine Kompetenz im Bereich der hausärztlichen Tätigkeit gehe. Demgegenüber wurde das Gutachten des Instituts für Pathologie und Rechtsmedizin Chur aus der Sicht der Rechtsmedizin verfasst. Das Obergericht hat diese Umstände im angefochtenen Entscheid zutreffend berücksichtigt und weist zudem zu Recht darauf hin, dass der Gutachter auch Kenntnis vom Tod und der Todesursache haben müsse. Gegenstand des neuen Gutachtens ist die Frage, ob der Tod der Verstorbenen bei Beachtung der gebotenen Sorgfalt hätte verhindert werden können. Dazu ist der Beizug des Berichts des Instituts für Pathologie und Rechtsmedizin Chur angezeigt. Unter Berücksichtigung der konkreten Umstände ist die Kritik des Beschwerdeführers an den Ausführungen der Vorinstanz nicht geeignet, den angefochtenen Entscheid in Bezug auf die Befangenheit des Gutachters als bundesrechtswidrig erscheinen zu lassen.
3. Es ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann. Die Gerichtskosten sind dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Den in ihrem amtlichen Wirkungskreis obsiegenden Behörden steht keine Parteientschädigung zu (<ref-law>). Dem nicht durch einen Anwalt vertretenen Gutachter ist ebenfalls keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien, der Staatsanwaltschaft IV des Kantons Zürich und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 20. September 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Haag