Sachverhalt: A. Am 5. April 2010, um ca. 15.20 Uhr, fuhr A._ als Lenker des Personenwagens "Jaguar x-type" zusammen mit dem Beifahrer B._ sowie den beiden weiteren Mitinsassen C._ und D._ auf der Tösstalstrasse in Winterthur. Als B._ auf dem Trottoir den an der Tösstalstrasse wohnhaften X._ entdeckte, stoppte A._ das Auto. B._ verliess den Wagen, um von X._ den von diesem angeblich geschuldeten Geldbetrag von Fr. 4'500.-- einzufordern. Nach einem kurzen Gespräch stieg X._ ins Fahrzeug ein. A._ fuhr in der Folge von der Tösstalstrasse nach Kollbrunn, hielt dort auf einem Parkplatz kurz an und fuhr anschliessend wieder zurück an die Tösstalstrasse zur Wohnung von X._. B._ sowie C._ folgten daraufhin X._ in dessen Wohnung und drohten diesem sowie der ebenfalls anwesenden Y._ mehrfach, dass sie schon sehen würden, was geschehe, wenn sie das Geld oder zumindest die in Aussicht gestellten Fr. 200.-- nicht innert Wochenfrist bezahlen würden. Gleichentags erstattete Y._ aufgrund dieses Vorfalls bei der Kantonspolizei Zürich telefonisch Strafanzeige gegen Unbekannt. Im Rahmen der polizeilichen Ermittlungen konnten A._, B._, C._ und D._ als die bei der obgenannten Fahrt beteiligten Personen eruiert werden. Am 14. April 2010 wurde A._ festgenommen und tags darauf mit Verfügung der Haftrichterin des Bezirks Winterthur in Untersuchungshaft versetzt. Am 29. April 2010 wurde A._ wieder aus der Haft entlassen. B. Die Staatsanwaltschaft Winterthur/Unterland stellte mit Verfügung vom 28. Juni 2011 die Strafuntersuchung gegen A._ wegen Erpressung etc. ein. Die Verfahrenskosten von Fr. 2'000.-- auferlegte sie A._ und sprach diesem weder eine Entschädigung noch eine Genugtuung zu. Die Kosten der amtlichen Verteidigung wurden auf die Staatskasse genommen. Die von A._ gegen die Kosten- und Entschädigungsfolgen erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Verfügung vom 16. November 2011 ab und auferlegte A._ die Verfahrenskosten von Fr. 270.--. C. Mit Eingabe vom 13. Januar 2012 führt A._ Beschwerde in Strafsachen ans Bundesgericht und beantragt die Aufhebung der Verfügung des Obergerichts. Die gesamten Verfahrenskosten seien auf die Staatskasse zu nehmen. Ihm sei für die Untersuchungshaft vom 14. bis 29. April 2010 eine Entschädigung von Fr. 800.-- und für die anwaltliche Vertretung im Untersuchungsverfahren eine Entschädigung von Fr. 566.50 zuzusprechen. Des Weiteren sei ihm eine Entschädigung für die anwaltliche Vertretung im Beschwerdeverfahren auszurichten. Ferner ersucht A._ um Gewährung der unentgeltlichen Rechtspflege. Das Obergericht verzichtet auf eine Stellungnahme zur Beschwerde. Die Staatsanwaltschaft beantragt die Beschwerdeabweisung. Die Eingaben wurden dem Beschwerdeführer zur Kenntnisnahme zugestellt.