Sachverhalt:
A. Mit Verfügung der Staatsanwaltschaft Zürich-Sihl vom 21. Januar 2009 wurde die gegen X._ geführte Strafuntersuchung wegen Betrugs etc. eingestellt. Die Verfahrenskosten wurden zur Hälfte X._ und zu je einem Viertel den beiden Anzeigeerstatterinnen auferlegt. Eine Entschädigung wurde X._ nicht zugesprochen.
Den von den beiden Anzeigeerstatterinnen gegen die Einstellung der Strafuntersuchung erhobenen Rekurs wies das Obergericht des Kantons Zürich ab.
Zudem stellten sowohl X._ als auch die beiden Anzeigeerstatterinnen das Begehren um gerichtliche Beurteilung der Kosten- und Entschädigungsfolgen. Mit Verfügung vom 16. Juni 2010 bestätigte die Einzelrichterin in Zivil- und Strafsachen des Bezirks Zürich die in der Einstellungsverfügung vom 21. Januar 2009 getroffene Kosten- und Entschädigungsregelung.
B. Gegen diese Verfügung führte X._ Rekurs ans Obergericht. Er beantragte die Aufhebung der Kostenauflage, die Zusprechung einer Entschädigung von Fr. 121'632.-- für die Aufwendungen seiner Verteidigung sowie die Ausrichtung von Schadenersatz in der Höhe von EUR 80'376.-- und einer Genugtuung im Betrag von Fr. 10'000.--.
Mit Beschluss vom 24. Oktober 2011 hiess das Obergericht den Rekurs teilweise gut und hob die Verfügung der Einzelrichterin vom 16. Juni 2010 teilweise auf. Das Obergericht nahm die Verfahrenskosten zur Hälfte auf die Staatskasse und auferlegte sie zu je einem Viertel den beiden Anzeigeerstatterinnen. Des Weiteren sprach es X._ Schadenersatz für seine anwaltlichen Aufwendungen von Fr. 75'000.-- und eine Genugtuung von Fr. 5'000.-- zu, beides zuzüglich Zins zu 5 % ab 21. Januar 2009.
C. Mit Beschwerde ans Bundesgericht vom 25. November 2011 ficht X._ den Beschluss des Obergerichts vom 24. Oktober 2011 an und beantragt, die Staatsanwaltschaft sei in Ergänzung des vorinstanzlichen Beschlussdispositivs zu verpflichten, ihm zusätzlich zum Schadenersatz von Fr. 75'000.-- und zur Genugtuung von Fr. 5'000.-- den Betrag von EUR 80'376.--, zuzüglich Zins zu 5 % ab 21. Januar 2009, aus der Staatskasse auszurichten.
Das Obergericht und die Staatsanwaltschaft verzichten auf Stellungnahmen zur Beschwerde.

Erwägungen:
1. 1.1 Angefochten ist ein Endentscheid einer letzten kantonalen Instanz über die Kosten- und Entschädigungsfolgen der Einstellung des Strafverfahrens gegen den Beschwerdeführer. Dagegen ist die Beschwerde in Strafsachen zulässig (Art. 78 Abs. 1, Art. 80 Abs. 1, Art. 90 BGG). Dem Beschwerdeführer wurde weniger Schadenersatz zugesprochen, als von ihm beantragt, weshalb er ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Er ist damit zur Beschwerdeführung legitimiert (Art. 81 Abs. 1 BGG). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, sodass auf die Beschwerde einzutreten ist. Gemäss Art. 29 Abs. 3 des Reglements für das Bundesgericht vom 20. November 2006 (BGerR; SR 173.110.131) ist die I. öffentlich-rechtliche Abteilung zur Beurteilung zuständig.
1.2 Die Einstellungsverfügung der Staatsanwaltschaft datiert vom 21. Januar 2009 und die Verfügung der Einzelrichterin erging am 16. Juni 2010. Anwendbar ist deshalb die Strafprozessordnung des Kantons Zürich vom 4. Mai 1919 (aStPO/ZH) und nicht die am 1. Januar 2011 in Kraft getretene Schweizerische Strafprozessordnung vom 5. Oktober 2007 (StPO; SR 312.0; siehe Art. 453 f. StPO; Urteile 1B_236/2011 vom 15. Juli 2011 E. 1.2, nicht publ. in: <ref-ruling>; 1B_411/2010 vom 7. Februar 2011 E. 1.3).
2. Die Beschwerde richtet sich einzig gegen die vorinstanzliche Abweisung des geltend gemachten Schadenersatzanspruchs von EUR 80'376.-- in Zusammenhang mit einer bei der Zuger Kantonalbank verfügten Kontosperre. Vom Beschwerdeführer nicht angefochten wird der vorinstanzliche Beschluss, soweit die Entschädigung für die Verteidigung auf Fr. 75'000.-- und die Genugtuung auf Fr. 5'000.-- beschränkt wurden.
2.1 Die Vorinstanz hat erwogen, die Konten bei der Zuger und der Schwyzer Kantonalbank seien mit Verfügungen der Staatsanwaltschaft vom 14. Dezember 2005 gesperrt worden. Diese Verfügungen seien dem Beschwerdeführer zwar nicht zugestellt worden; aufgrund seiner Korrespondenz mit den Banken habe er aber Kenntnis von den Kontensperren gehabt, was von ihm auch nicht bestritten werde. Auch bei einer Kontosperre könne der Bankkunde "einen gewissen Einfluss" auf die Verwaltung bzw. Anlage des von der Sperre betroffenen Guthabens nehmen. Aus den ihm zugestellten Kontoauszügen habe der Beschwerdeführer entnehmen können, dass die Schwyzer Kantonalbank das Guthaben erfolgreicher angelegt habe als die Zuger Kantonalbank. Zudem räume der Beschwerdeführer ein, dass es ihm im September 2008 gelungen sei, bei der Zuger Kantonalbank eine angemessene(re) Anlagestrategie zu erwirken. Dass er nicht bereits unmittelbar nach der Verfügung der Kontosperre aktiv geworden sei, liege in seinem Verantwortungsbereich. Zusammenfassend habe der Beschwerdeführer gegenüber dem Staat keinen Anspruch auf Schadenersatz zufolge angeblich unsachgemässer Anlage seines Guthabens bei der Zuger Kantonalbank.
2.2 Der Beschwerdeführer macht geltend, die Staatsanwaltschaft habe es fälschlicherweise unterlassen, der Zuger und der Schwyzer Kantonalbank Angaben zu machen, wie die gesperrten Guthaben anzulegen seien, dies obwohl sie hierzu gemäss den "Empfehlungen der Kommission für organisierte Kriminalität und Wirtschaftskriminalität der Kantonalen Justiz- und Polizeidirektoren (KKJPD) an die kantonalen Strafverfolgungsbehörden betreffend die Verwaltung gesperrter Vermögenswerte vom 30. März 1999" befugt gewesen wäre. Ihm sei es hingegen nicht möglich gewesen, ohne Zustimmung der Staatsanwaltschaft eine Änderung der Anlagestrategie durchzusetzen. Mit dem Verzicht auf konkrete Instruktionen gegenüber den beiden Banken habe die Staatsanwaltschaft ihre Sorgfaltspflicht verletzt und ihm hierdurch einen Vermögensschaden verursacht, sei doch mit der Verwaltung des Kontos bei der Zuger Kantonalbank nur ein sehr geringer Zinsertrag erzielt worden. Wäre dieses Guthaben gleich gut angelegt worden wie jenes bei der Schwyzer Kantonalbank, wäre bis zum 12. September 2008, als er gegenüber der Zuger Kantonalbank endlich eine sinnvolle und angemessene Anlagestrategie habe erwirken können, ein um EUR 80'376.-- höherer Zinsertrag angefallen. Diesen Betrag habe ihm der Staat zu ersetzen.
2.3 Bei einer Kontosperre geht das Verfügungsrecht von Gesetzes wegen auf die Strafbehörden über. Die Beschlagnahme von Vermögenswerten bezweckt deren Sicherung als Beweismittel und stellt keine finanzielle Sanktion gegenüber dem Inhaber der Vermögenswerte dar. Daraus und aus dem Grundsatz der Verhältnismässigkeit ergibt sich, dass jede Wertminderung der Vermögenswerte zu vermeiden ist, die Strafbehörden die beschlagnahmten Vermögenswerte mithin sorgfältig zu verwalten haben (vgl. hierzu und zum Folgenden Felix Bommer/Peter Goldschmid, Basler Kommentar StPO, 2011, N. 35 ff. zu Art. 266 StPO).
Gemäss Art. 266 Abs. 6 StPO, welcher vorliegend allerdings noch nicht anwendbar ist (vgl. E. 1.2 hiervor), regelt der Bundesrat die Anlage beschlagnahmter Vermögenswerte. Nach Art. 1 der gestützt darauf erlassenen Verordnung über die Anlage beschlagnahmter Vermögenswerte vom 3. Dezember 2010 (SR 312.057) sind beschlagnahmte Vermögenswerte möglichst sicher, werterhaltend und ertragbringend anzulegen. Mit der bundesrätlichen Verordnung sind die vom Beschwerdeführer angeführten Empfehlungen der Kommission für organisierte Kriminalität und Wirtschaftskriminalität der KKJPD an die kantonalen Strafverfolgungsbehörden betreffend die Verwaltung gesperrter Vermögenswerte vom 30. März 1999 in verbindliche Form überführt worden. Diese Empfehlungen wurden von den Strafbehörden und den Banken zwar bislang beachtet, sie waren aber nicht rechtsverbindlich (vgl. hierzu auch Botschaft vom 21. Dezember 2005 zur Vereinheitlichung des Strafprozessrechts, BBl 2006 1246 Ziff. 2.5.7).
Gemäss den Empfehlungen betreffend die Verwaltung gesperrter Vermögenswerte entscheidet die Strafbehörde über die Art der Verwaltung (vgl. Empfehlungen Ziff. 2.1). Die gesperrten Vermögenswerte sind grundsätzlich mit dem Anlageziel der Erhaltung des Kapitals und der Erzielung eines regelmässigen Ertrags anzulegen. Die Strafbehörde ordnet allfällige Umschichtungen nach Möglichkeit im Einvernehmen mit dem Bankkunden oder dessen Vertreter an. Bei einer Änderung des Anlageziels hat die Strafbehörde den Interessen des Bankkunden angemessen Rechnung zu tragen. Insbesondere darf eine Umschichtung der Vermögensanlage nicht zur Unzeit vorgenommen werden (vgl. Empfehlungen Ziff. 2.2). Anlageinstruktionen des Kunden oder seines Vertreters dürfen nur mit Zustimmung der Strafbehörde durchgeführt werden (Empfehlungen Ziff. 3.1).
2.4 Entgegen dem Vorbringen des Beschwerdeführers kann der Staatsanwaltschaft keine Verletzung ihrer Sorgfaltspflicht angelastet werden. Insbesondere steht ihr Vorgehen auch nicht in Widerspruch zu den vorliegend (noch) Beachtung findenden Empfehlungen betreffend die Verwaltung gesperrter Vermögenswerte.
2.4.1 Der Beschwerdeführer hat, wie von ihm in der Beschwerde dargelegt, am 26. Mai 2006 dem zuständigen Staatsanwalt einen Vorschlag für die Anlage der Guthaben bei der Zuger und der Schwyzer Kantonalbank unterbreitet und um Genehmigung und Weiterleitung dieses Vorschlags an die beiden Banken ersucht. In seinem Schreiben vom 2. Juni 2006 antwortete der Staatsanwalt darauf, es sei grundsätzlich möglich, die bei der Zuger und der Schwyzer Kantonalbank gesperrten Guthaben nach einem Vorschlag des Beschwerdeführers zu investieren. Dabei sei indes zu berücksichtigen, dass die Strafbehörde eine Werterhaltungspflicht treffe und im jetzigen Verfahrensstadium nur eine kurz- bis mittelfristige konservative Anlage in Frage komme. Der unterbreitete Vorschlag sei nicht genügend konkret formuliert, insbesondere bleibe unklar, welches Institut welche Anlagen tätigen solle. Eine Weiterleitung an die beiden Banken komme deshalb nicht in Betracht. Er schlage dem Beschwerdeführer vor, dass dieser (in Absprache mit der Gegenseite) zwei konkrete Investitionsvorschläge ausarbeite und ihm zur Genehmigung unterbreite.
2.4.2 Gemäss erwähnter Ziffer 3.1 der Empfehlungen betreffend die Verwaltung gesperrter Vermögenswerte bedürfen Anlageinstruktionen des Bankkunden der Zustimmung der Staatsanwaltschaft. In Einklang hiermit hat der Beschwerdeführer die von ihm gewünschte Änderung der Anlagestrategie der Staatsanwaltschaft zur Genehmigung vorgelegt. Die Staatsanwaltschaft erachtete die Strategie jedoch als zu vage, da unklar bleibe, welche Bank welche Anlagen tätigen solle, und forderte den Beschwerdeführer mit Schreiben vom 2. Juni 2006 zur Konkretisierung seines Investitionsvorschlags auf. Soweit aktenkundig hat der Beschwerdeführer hierauf nicht reagiert, d.h. weder bestritten, dass sein Vorschlag zu wenig konkret sei, noch einen neuen Investitionsvorschlag vorgelegt. Gegenteiliges wird vom Beschwerdeführer auch nicht behauptet.
Indem aber der Beschwerdeführer der Aufforderung der Staatsanwaltschaft, konkrete Anlageinstruktionen zur Genehmigung zu unterbreiten, nicht nachgekommen ist, hat er sich implizit mit der Fortführung der bisherigen Anlagestrategie einverstanden erklärt. Mit der Beibehaltung des Status quo wurden die beschlagnahmten Vermögenswerte bei der Zuger Kantonalbank sicher, werterhaltend und ertragbringend angelegt, auch wenn, wie der Vergleich mit dem gesperrten Konto bei der Schwyzer Kantonalbank zeigt, ein höherer Zinsertrag erzielbar gewesen wäre.
Unter diesen Umständen kann der Staatsanwaltschaft nicht vorgeworfen werden, die gesperrten Vermögenswerte bei der Zuger Kantonalbank unsachgemäss verwaltet zu haben. Die Schadenersatzforderung des Beschwerdeführers von EUR 80'376.-- wurde damit zu Recht abgewiesen.
3. Die Beschwerde ist abzuweisen. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Verfahrenskosten (Art. 66 Abs. 1 BGG). Parteientschädigungen sind keine zuzusprechen (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Sihl und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 20. Februar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner