Sachverhalt:
A. Die Staatsanwaltschaft I des Kantons Zürich führte gegen X._ eine Strafuntersuchung wegen Verstoss gegen das Bundesgesetz vom 6. Oktober 1995 über die technischen Handelshemmnisse (THG; SR 946.51), Körperverletzung und weiteren Delikten. Sie warf ihm vor, er habe im Juni 1999 über die von ihm beherrschte und geführte Y._AG Knieprothesen des Typs "Diamond Rota Gliding (DRG)" mit dem CE-Zeichen versehen und in Verkehr gesetzt, obwohl keine Prüfung des Produkts für die Zulassung zum Markt stattgefunden und eine gültige Zertifizierung nie vorgelegen habe. Zudem sei er sowohl vorgängig als auch im Zeitpunkt der Inverkehrsetzung auf die fehlende Zertifizierung und die unberechtigte Verwendung des CE-Zeichens hingewiesen worden. In mehreren Fällen, in denen die Prothesen bei Patienten eingesetzt worden seien, seien in der Folge verschiedene Komplikationen (z.B. Unverträglichkeit und mangelnde Stabilität) aufgetreten, was von operierenden Ärzten der Heilmittelkontrollstelle des Bundesamts für Gesundheit (BAG) gemeldet worden sei. Dort sei festgestellt worden, dass das CE-Zeichen nicht auf den DRG-Knieprothesen hätte angebracht werden dürfen, weil das Kompatibilitätsbewertungsverfahren nie durchgeführt worden sei.
Wegen des Eintritts der Verjährung - und nachdem die haftpflichtrechtlichen Ansprüche von Geschädigten bereinigt worden waren und die Geschädigten deshalb ihr Desinteresse an der Weiterführung der Strafuntersuchung erklärt hatten - stellte die Staatsanwaltschaft die Untersuchung mit Verfügung vom 28. September 2009 ein. Die Kosten der Untersuchung im Betrag von Fr. 49'307.-- auferlegte sie X._.
In der Folge gelangte X._ an den Einzelrichter in Strafsachen des Bezirks Uster. Er verlangte, die Kosten der Untersuchung seien auf die Staatskasse zu nehmen und ihm selbst seien eine Umtriebsentschädigung und eine Genugtuung auszurichten. Mit Verfügung vom 21. März 2011 wies der Einzelrichter das Begehren ab. Eine gegen diese Verfügung gerichtete Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 3. Oktober 2011 ebenfalls ab.
B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 16. November 2011 beantragt X._ im Wesentlichen, die Kosten der eingestellten Strafuntersuchung seien auf die Staatskasse zu nehmen und es seien ihm eine Umtriebsentschädigung sowie eine Genugtuung auszurichten. Eventualiter seien immerhin die ab dem 16. Juni 2003 entstandenen Kosten auf die Staatskasse zu nehmen und ihm für die Zeit ab diesem Datum eine angemessene Umtriebsentschädigung und Genugtuung auszurichten. Unter dem Titel "Verfahrensantrag" beantragt X._ zudem, der Beschluss des Obergerichts sei aufzuheben und die Sache sei an die Vorinstanz zurückzuweisen.
Das Obergericht hat auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werde. In seiner Stellungnahme dazu hält der Beschwerdeführer vollumfänglich an seiner Beschwerde fest.

Erwägungen:
1. 1.1 Der angefochtene Entscheid betrifft die Einstellung einer Strafuntersuchung. Dagegen ist die Beschwerde in Strafsachen nach <ref-law> gegeben.
1.2 Ein kantonales Rechtsmittel steht nicht zur Verfügung. Die Beschwerde ist nach <ref-law> zulässig. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und hat ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids. Er ist daher nach <ref-law> zur Beschwerde befugt. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
1.3 Die Einstellungsverfügung datiert vom 28. September 2009. Anwendbar ist deshalb die Strafprozessordnung des Kantons Zürich vom 4. Mai 1919 (StPO/ZH) und nicht die am 1. Januar 2011 in Kraft getretene Schweizerische Strafprozessordnung (StPO, SR 312.0; siehe Art. 453 f. StPO und <ref-ruling> E. 1.1 S. 221 mit Hinweisen).
2. 2.1 Der Beschwerdeführer rügt, das Obergericht habe die Unschuldsvermutung verletzt, da klar der Eindruck erweckt werde, er habe sich strafbar gemacht (<ref-law> und Art. 6 Ziff. 2 EMRK). Er habe dies bereits in seiner Beschwerde an das Obergericht vorgebracht, dieses sei aber nicht darauf eingegangen. Dadurch sei sein Anspruch auf rechtliches Gehör verletzt worden (<ref-law>).
2.2 Nach der Rechtsprechung des Bundesgerichts zu <ref-law> und Art. 6 Ziff. 2 EMRK dürfen einem Angeschuldigten bei Freispruch oder Einstellung des Verfahrens nur dann Kosten auferlegt werden, wenn er durch ein unter rechtlichen Gesichtspunkten vorwerfbares Verhalten die Einleitung eines Strafverfahrens veranlasst oder dessen Durchführung erschwert hat. Bei der Kostenpflicht des freigesprochenen oder aus dem Verfahren entlassenen Angeschuldigten handelt es sich nicht um eine Haftung für ein strafrechtliches Verschulden, sondern um eine zivilrechtlichen Grundsätzen angenäherte Haftung für ein fehlerhaftes Verhalten, durch das die Einleitung oder Erschwerung eines Strafverfahrens verursacht wurde. Wie das Bundesgericht festgehalten hat, ist es mit <ref-law> und Art. 6 Ziff. 2 EMRK vereinbar, einem nicht verurteilten Angeschuldigten die Kosten aufzuerlegen, wenn er in zivilrechtlich vorwerfbarer Weise gegen eine Verhaltensnorm, die sich aus der Gesamtheit der schweizerischen Rechtsordnung ergeben kann, klar verstossen und dadurch das Strafverfahren veranlasst oder dessen Durchführung erschwert hat (<ref-ruling> E. 1b S. 334 mit Hinweisen). Hingegen verstösst eine Kostenauflage bei Freispruch oder Einstellung des Strafverfahrens gegen den Grundsatz der Unschuldsvermutung, wenn dem Angeschuldigten in der Begründung des Kostenentscheids direkt oder indirekt vorgeworfen wird, er habe sich strafbar gemacht bzw. es treffe ihn ein strafrechtliches Verschulden (<ref-ruling> E. 3b S. 155; 6B_86/2009 vom 29. Oktober 2009 E. 9.3).
2.3 Das rechtliche Gehör nach <ref-law> verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 236 mit Hinweisen).
2.4 Das Obergericht führte im angefochtenen Entscheid aus, die vom Beschwerdeführer auf den Markt gebrachten DRG-Knieprothesen seien klar unrechtmässig mit dem CE-Zeichen in Verkehr gesetzt worden. Der Beschwerdeführer habe die zur Inverkehrsetzung von Implantaten geltenden Vorschriften gekannt bzw. habe sie als langjähriger Verantwortlicher der Entwicklungs-, Produktions- und Handelsfirma kennen müssen. Er habe für die Einhaltung der Sorgfaltspflichten sorgen müssen. Indem er dies nicht getan habe, habe er die zum Schutz der Gesundheit der Abnehmer geltenden Vorschriften verletzt und objektiv normwidrig gehandelt. Auch subjektiv müsse ihm sein Vorgehen vorgeworfen werden, weil er sich nicht wie der durchschnittliche haftpflichtige Rechtsteilnehmer verhalten habe. Nach dem gewöhnlichen Lauf der Dinge und der allgemeinen Lebenserfahrung sei dieses objektiv widerrechtliche und subjektiv verwerfliche Verhalten geeignet gewesen, ein Strafverfahren wie das angehobene herbeizuführen. Daraus ergebe sich die Kostenpflicht des Beschwerdeführers für dieses Verfahren. Dass kumulativ weitere Gründe die Strafuntersuchung ausgelöst hätten, treffe nicht zu. Erst nach Entdecken der fehlenden Zertifizierung des in Verkehr gebrachten Produkts habe die Strafbehörde eine Untersuchung eröffnet und eröffnen müssen. Allfällige Mängel bei der Herstellung des Produkts könnten ebenfalls keine konkurrierende Ursache für die Strafuntersuchung darstellen, da der Beschwerdeführer allein das nicht geprüfte Produkt in Verkehr - bereit zur operativen Einsetzung beim Menschen - gebracht habe. Es treffe auch nicht zu, dass ohnehin eine Strafuntersuchung angehoben worden wäre, das heisst auch dann, wenn er sich rechtmässig verhalten und ein Konformitätsbewertungsverfahren durchgeführt hätte. Es sei davon auszugehen, dass die Kompatibilitätskontrolle, wäre sie durchgeführt worden, die die gesundheitlichen Komplikationen begünstigenden oder verursachenden Mängel des Systems DRG zu Tage gefördert hätte. Damit wären Komplikationen nach der Implantation des Medizinprodukts bei einer Grosszahl der operierten Patienten nicht aufgetreten. In diesem Fall hätte keine Veranlassung bestanden, ein Strafverfahren einzuleiten.
2.5 Mit dieser Begründung erweckt das Obergericht entgegen der Auffassung des Beschwerdeführers nicht den Anschein, es werde ihm ein strafrechtliches Verschulden zur Last gelegt. Vielmehr hat es erkannt, der Beschwerdeführer habe durch sein Verhalten Gesundheitsschäden bewirkt und damit in zivilrechtlich vorwerfbarer Weise gegen Verhaltensnormen verstossen (vgl. <ref-law>). Dadurch habe er das Strafverfahren veranlasst.
Der angefochtene Entscheid ist diesbezüglich auch hinreichend begründet. Er beinhaltet die wesentlichen Erwägungen und erlaubte es dem Beschwerdeführer, in voller Kenntnis der Sache ein Rechtsmittel zu ergreifen.
2.6 Der Beschwerdeführer rügt eine Verletzung des rechtlichen Gehörs auch noch in anderer Hinsicht. Zunächst bringt er vor, dass das Obergericht sich nicht mit seinen Einwänden gegen die Annahme, er habe von seinem Qualitätsmanager eine Warnung bezüglich der Legalität seines Vorgehens erhalten, auseinandergesetzt habe. Er räumt jedoch selbst ein, dass er diese Einwände nur vor dem Einzelrichter, aber nicht im vorinstanzlichen Verfahren vorgebracht hat. Eine unzureichende Begründung ist in dieser Hinsicht nicht auszumachen. Im Übrigen ist nicht einzusehen, weshalb der Beschwerdeführer für die Inverkehrsetzung des nicht zertifizierten Produkts nicht die Verantwortung trüge, wenn ihn die mit dem Qualitätsmanagement beauftragte Person nicht noch eigens gemahnt und auf die fehlende Zertifizierung hingewiesen haben sollte, wie er nunmehr (erneut) behauptet (vgl. <ref-law>). Weitere Rügen der Verletzung des rechtlichen Gehörs betreffen die Kausalität (zwischen dem Verhalten des Beschwerdeführers und der Einleitung des Strafverfahrens bzw. dessen Umfang) und die subjektive Vorwerfbarkeit. Auch sie sind unbegründet. Das Obergericht hat sich mit diesen Punkten auseinandergesetzt. Es hat dargelegt, weshalb es davon ausging, dass der Beschwerdeführer mit seinem widerrechtlichen und (zivilrechtlich) vorwerfbaren Verhalten die Einleitung des Strafverfahrens verursacht habe und weshalb es die Kostenauflage für die gesamten Verfahrenskosten als rechtmässig ansah (vgl. E. 2.4 hiervor). Der Umstand, dass die Strafuntersuchung später auf den Verantwortlichen der Produktionsfirma ausgedehnt wurde, verdrängt das auslösende Element nicht. Hätte die hohe Reoperationsquote in massgeblicher Weise zur Strafuntersuchung geführt, so hätte diese sich zunächst gegen Medizinalpersonen richten müssen. Es kann der Vorinstanz auch nicht Willkür vorgeworfen werden, wenn sie davon ausgegangen ist, Fertigungsmängel wären im Zertifizierungsverfahren entdeckt worden. Unter anderem dazu dient ja die Zertifizierung. Allfällige Mängel dieses Verfahrens hätten den Beschwerdeführer vom Vorwurf widerrechtlichen und tadelnswerten Verhaltens (vgl. <ref-ruling> E. 2c S. 168 ff.) nur entlasten können, wenn er die Zertifizierung tatsächlich vor der Inverkehrsetzung und Verwendung des Produkts erlangt hätte. Es hilft dem Beschwerdeführer daher nicht, wenn er geltend macht, die Vorinstanz hätte zum Ergebnis gelangen müssen, dass das Produkt das Zertifizierungsverfahren mit Erfolg bestanden hätte. Denn nur wenn die Zertifizierung erfolgt wäre, hätte kein Anlass bestanden, gegen ihn eine Strafuntersuchung einzuleiten. Im Übrigen ist es, wie erwähnt, nicht erforderlich, dass sich das Obergericht mit allen Standpunkten des Beschwerdeführers einlässlich auseinandersetzte und jedes einzelne Vorbringen ausdrücklich widerlegte. Vielmehr konnte es sich auf die für den Entscheid wesentlichen Punkte beschränken. Der Beschwerdeführer war in Bezug auf diese weiteren Punkte denn auch offensichtlich in der Lage, sich über die Tragweite des Entscheids Rechenschaft zu geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterzuziehen.
3. Die Beschwerde ist abzuweisen. Bei diesem Ausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Er hat keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft I und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 3. April 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold