Sachverhalt:
A. Die Staatsanwaltschaft II des Kantons Zürich führt gegen X._ eine Strafuntersuchung wegen Widerhandlungen gegen das Betäubungsmittelgesetz (SR 812.121). Sie wirft ihm vor, über einen längeren Zeitraum Betäubungsmittel erworben und gewinnbringend weiterverkauft zu haben. X._ wurde am 4. November 2011 festgenommen und mit Verfügung des Haftrichters des Bezirksgerichts Zürich vom 7. November 2011 in Untersuchungshaft versetzt. Mit Verfügung vom 6. Februar 2012 bewilligte das Zwangsmassnahmengericht des Bezirks Zürich auf Antrag der Staatsanwaltschaft die Fortsetzung der Untersuchungshaft bis zum 6. Mai 2012. Eine dagegen von X._ erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 15. März 2012 ab.
B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 23. März 2012 beantragt X._, der Beschluss des Obergerichts sei aufzuheben und er selbst sei aus der Haft zu entlassen.
Das Zwangsmassnahmengericht und das Obergericht haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde. Der Beschwerdeführer hält in seiner Stellungnahme dazu im Wesentlichen an seinen Anträgen und Rechtsauffassungen fest.

Erwägungen:
1. Der angefochtene Entscheid betrifft die Entlassung aus der Untersuchungshaft. Dagegen ist die Beschwerde in Strafsachen nach <ref-law> gegeben. Anwendbar ist die am 1. Januar 2011 in Kraft getretene Schweizerische Strafprozessordnung (StPO; SR 312.0; siehe Art. 453 f. StPO). Danach ist der angefochtene Entscheid kantonal letztinstanzlich (<ref-law>, <ref-law>). Beim Beschluss des Obergerichts handelt es sich um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> bewirken kann. Der Beschwerdeführer nahm vor der Vorinstanz am Verfahren teil und hat grundsätzlich ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheids. Er ist nach <ref-law> zur Beschwerde berechtigt. Das Bundesgericht kann nach <ref-law> bei Gutheissung der Beschwerde in der Sache selbst entscheiden. Der Antrag auf Haftentlassung ist somit zulässig. Auf die Beschwerde ist grundsätzlich einzutreten.
2. 2.1 Die Untersuchungshaft schränkt die persönliche Freiheit des Beschwerdeführers ein (Art. 10 Abs. 2 i.V.m. <ref-law>, Art. 5 EMRK). Eine Einschränkung dieses Grundrechts ist zulässig, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist; zudem darf sie den Kerngehalt des Grundrechts nicht beeinträchtigen (<ref-law>). Im vorliegenden Fall steht ein Freiheitsentzug und damit eine schwerwiegende Einschränkung der persönlichen Freiheit in Frage. Es bedarf deshalb sowohl nach <ref-law> als auch nach <ref-law> einer Grundlage im Gesetz selbst. Nach <ref-law> ist Untersuchungshaft nur zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ernsthaft zu befürchten ist, dass sie sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktionentzieht (Abs. 1 lit. a); Personen beeinflusst oder auf Beweismittel einwirkt, um so die Wahrheitsfindung zu beeinträchtigen (Abs. 1 lit. b); oder durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat (Abs. 1 lit. c). Haft ist auch zulässig, wenn ernsthaft zu befürchten ist, eine Person werde ihre Drohung, ein schweres Verbrechen auszuführen, wahr machen (Abs. 2). Das zuständige Gericht ordnet gemäss <ref-law> an Stelle der Untersuchungshaft eine oder mehrere mildere Massnahmen an, wenn sie den gleichen Zweck wie die Haft erfüllen.
Die Auslegung und die Anwendung der im Bundesrecht geregelten Voraussetzungen für die mit strafprozessualen Zwangsmassnahmen einhergehenden Grundrechtsbeschränkungen prüft das Bundesgericht mit freier Kognition (<ref-law>; Urteile 1B_379/2011 vom 2. August 2011 E. 1; 1B_126/2011 vom 6. April 2011 E. 2, nicht publ. in: <ref-ruling>; je mit Hinweisen). Soweit jedoch reine Sachverhaltsfragen und damit Fragen der Beweiswürdigung zu beurteilen sind, greift das Bundesgericht nur ein, wenn die tatsächlichen Feststellungen der Vorinstanz offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (Art. 97 Abs. 1 i.V.m. <ref-law>).
Das Obergericht bejahte sowohl den dringenden Tatverdacht als auch die Kollusionsgefahr. Der Beschwerdeführer stellt nicht in Abrede, dass die erhobenen Beweise diesen Schluss rechtfertigen. Er ist jedoch der Ansicht, dass sämtliche Beweise, auf welche sich das Obergericht abstützt, nicht verwertbar seien. Zudem macht er geltend, die Untersuchungshaft sei aufgrund massivster Verfahrensverletzungen und strafbarer Handlungen der Polizei unverhältnismässig geworden. Eine angemessene Verteidigung sei nicht mehr möglich.
2.2 Das Obergericht führt zur Begründung aus, Ausgangspunkt der Untersuchung gegen den Beschwerdeführer sei eine mit Verfügung der Staatsanwaltschaft vom 22. März 2011 bewilligte polizeiliche Observation gewesen. In der Tiefgarage des Mehrfamilienhauses, welches der Beschwerdeführer bewohnte, sei nach Beweismitteln gesucht worden. Gemäss <ref-law> könne die Polizei Personen und Sachen an allgemein zugänglichen Orten verdeckt beobachten, wenn anzunehmen sei, dass Verbrechen oder Vergehen begangen wurden und die Ermittlungen sonst aussichtslos wären oder unverhältnismässig erschwert würden. In der Lehre werde die Ansicht vertreten, dass allgemein zugängliche Räume von Wohnhäusern als öffentlicher Raum gelten. Folglich lasse sich nicht sagen, das Vorgehen der Polizei sei prima vista eindeutig unzulässig gewesen. Wie es sich damit tatsächlich verhalte, werde der Sachrichter abzuklären haben.
Betreffend die mit Hausdurchsuchungsbefehl vom 14. April 2011 angeordnete Durchsuchung des Geräteschranks des Beschwerdeführers könne ebenfalls nicht von der Unverwertbarkeit der dabei sichergestellten Beweismittel ausgegangen werden. <ref-law> sei eine blosse Ordnungsvorschrift. Die Abwesenheit des Beschwerdeführers bei der Hausdurchsuchung führe deshalb nicht zur Unverwertbarkeit.
Da somit weder die polizeiliche Observation noch die Hausdurchsuchung prima vista als eindeutig unzulässig bezeichnet werden könnten, bestehe auch keine Fernwirkung in Bezug auf später erhobene Beweise. In dieser Hinsicht weist das Obergericht auf ein Geständnis des Beschwerdeführers und auf die Belastung durch einen Mitbeschuldigten. Der Beschwerdeführer habe anlässlich der polizeilichen Hafteinvernahme vom 4. November 2011 ausführliche Angaben zum Umfang des von ihm betriebenen Kokainhandels gemacht. So habe er eingestanden, seit ca. einem Jahr im Kokainhandel tätig zu sein. Er habe Schulden von Fr. 160'000.-- um die Hälfte reduzieren können. Für die 250 g Kokaingemisch, welche anlässlich der Verhaftung auf ihm gefunden worden seien, habe er dem Verkäufer Fr. 27'000.-- bezahlen müssen. Er habe beabsichtigt, das Kokain für Fr. 120.-- pro Gramm weiterzuverkaufen, wobei ein Gewinn von Fr. 5'000.-- resultiert hätte. Die Menge von 250 g hätte ungefähr einen Monat ausgereicht. Auf die Frage des ihn einvernehmenden Beamten, weshalb er so freizügig über den von ihm betriebenen Betäubungsmittelhandel Auskunft gebe, habe er geantwortet, er wolle die Sache so schnell wie möglich hinter sich bringen. Er wisse, was er gemacht habe und stehe dazu. Erst in der darauffolgenden delegierten polizeilichen Einvernahme vom 11. Januar 2012 sei der Beschwerdeführer darüber in Kenntnis gesetzt worden, dass ihn betreffende Überwachungsmassnahmen angeordnet worden seien, wobei ihm die Zeitspanne der Überwachung nicht genannt worden sei. Der Beschwerdeführer habe also Auskunft erteilt, ohne zu wissen, welche Beweismittel gegen ihn vorlagen. Die von ihm nun als unverwertbar bezeichneten Beweismittel seien ihm damals nicht vorgehalten worden. Mithin wäre das Geständnis auch dann nicht eindeutig unverwertbar, wenn es die polizeiliche Observation und die Hausdurchsuchung wären. Auch hinsichtlich der Belastung durch den Mitbeschuldigten Y._ sei nicht von Unverwertbarkeit auszugehen. Es gebe keine Hinweise dafür, dass das betreffende Verfahren nicht korrekt durchgeführt worden sei.
Zum besonderen Haftgrund der Kollusionsgefahr führt das Obergericht im Wesentlichen aus, die Strafuntersuchung sei noch nicht abgeschlossen. Laut der Staatsanwaltschaft seien mit dem Beschwerdeführer und weiteren in den Betäubungsmittelhandel involvierten Personen umfangreiche Einvernahmen durchzuführen und diesen dabei die Resultate der Telefonüberwachungen vorzuhalten. Auch die Konfrontationseinvernahmen stünden noch aus. Der Verteidiger des Beschwerdeführers habe eingeräumt, dass dieser vom Mitbeschuldigten Y._ über das Geständnis hinaus belastet werde. In dieser Hinsicht, aber auch in Bezug auf die Aussagen der weiteren Mitbeschuldigten könnte der Beschwerdeführer deshalb versucht sein, die Abklärung des Sachverhalts zu seinen Gunsten zu beeinflussen.
2.3 Der Beschwerdeführer macht geltend, bei der Tiefgarage, in welcher die Observation stattgefunden habe, handle es sich nicht um einen allgemein zugänglichen Raum. Der Zutritt sei nur Anwohnern gestattet und möglich. Wie sich die Polizei Zutritt verschafft habe, sei unklar. In der Folge habe die Staatsanwaltschaft eine Hausdurchsuchung angeordnet und den Befehl gegeben, allfällige Drogen zu beschlagnahmen. Die Polizei habe diesen Befehl missachtet, als sie erneut in die Garage gegangen und im Geräteschrank seiner Schwester 148 g Kokaingemisch gefunden habe. Diese Drogen seien nämlich nicht beschlagnahmt worden; vielmehr habe man ihm einen Köder vor die Nase gesetzt. Mit diesem Verhalten habe sich die Polizei strafbar gemacht. Zudem seien die Mitwirkungsrechte gemäss <ref-law> verletzt und sei kein Protokoll erstellt worden. Faktisch handle es sich bei der Hausdurchsuchung um eine geheime Überwachungsmassnahme, denn er sei erst am 2. Februar 2012 darüber informiert worden. Weder die Observation noch die Hausdurchsuchung seien Beweise, die geheim erhoben werden dürften, schon gar nicht ohne Bewilligung durch das Zwangsmassnahmengericht. Die gewonnen Beweise seien absolut unverwertbar. Das Obergericht habe sich schliesslich zum Vorgehen der Polizei nicht geäussert und dadurch die Begründungspflicht verletzt.
Weiter falle auf, dass das Obergericht mit Verfügung vom 9. September 2011 eine Verlängerung der Überwachung von Fahrzeugen genehmigte, obwohl gar nicht ersichtlich sei, ob eine solche früher schon angeordnet worden war. Die Verhaftung sei aber erst durch die Überwachung des Fernmeldeverkehrs und die Überwachung von Fahrzeugen mit technischen Überwachungsgeräten möglich geworden.
Der Beschwerdeführer kritisiert weiter, am Verhaftungstag sei in seiner Wohnung ohne Hausdurchsuchungsbefehl und ohne seine Anwesenheit eine Hausdurchsuchung durchgeführt worden. Auch sei er von der Polizei befragt worden, ohne dass er amtlich vertreten gewesen wäre. Am 11. Januar 2012 habe erstmals in der Gegenwart des amtlichen Verteidigers eine delegierte Einvernahme stattgefunden, jedoch sei dabei die Rechtsbelehrung unterblieben. In der Folge seien Y._ und der Lieferant der Drogen verhaftet worden. Y._ habe ihn in zwei Einvernahmen belastet. Auch dabei habe keine Rechtsbelehrung stattgefunden.
Zusammenfassend hält der Beschwerdeführer fest, der Kokainfund habe die gesamte Aktion ins Rollen gebracht. Die Verhaftungen und alle folgenden Beweiserhebungen seien nur infolge der verbotenen Observation und der Hausdurchsuchung möglich gewesen. Somit gebe es keine verwertbaren Beweise, die zur Begründung der Aufrechterhaltung der Untersuchungshaft herangezogen werden könnten. Da das Strafverfahren auf massivsten Verfahrensverletzungen beruhe, sei zudem eine angemessene Verteidigung nicht mehr möglich und die Haft unverhältnismässig.
2.4 Die Frage, ob strafprozessuale Beweisverwertungsverbote vorliegen, ist grundsätzlich vom Strafrichter zu beurteilen. Im Haftprüfungsverfahren reicht es aus, wenn die Verwertbarkeit der Beweismittel, welche den Tatverdacht begründen, nicht zum Vornherein als ausgeschlossen erscheint (Urteile 1B_326/2009 vom 11. Mai 2010 E. 4.2, nicht publ. in: <ref-ruling>; 1B_123/2008 vom 2. Juni 2008 E. 2.4 mit Hinweis).
Die Verwertbarkeit rechtswidrig erlangter Beweise wird in <ref-law> geregelt. Nach Abs. 1 dieser Bestimmung sind Beweise, die in Verletzung von <ref-law> erhoben wurden, in keinem Fall verwertbar. Dasselbe gilt, wenn dieses Gesetz einen Beweis als unverwertbar bezeichnet. Nach Abs. 2 dürfen Beweise, die Strafbehörden in strafbarer Weise oder unter Verletzung von Gültigkeitsvorschriften erhoben haben, nicht verwertet werden, es sei denn, ihre Verwertung sei zur Aufklärung schwerer Straftaten unerlässlich. Beweise, bei deren Erhebung lediglich Ordnungsvorschriften verletzt worden sind, sind dagegen gemäss Abs. 3 verwertbar. Mit der Frage der Fernwirkung von Beweisverboten befasst sich Abs. 4: Ermöglichte ein Beweis, der nach Abs. 2 nicht verwertet werden darf, die Erhebung eines weiteren Beweises, so ist dieser nicht verwertbar, wenn er ohne die vorhergehende Beweiserhebung nicht möglich gewesen wäre. Mithin ist der zweite Beweis nur dann unverwertbar, wenn er ohne den ersten nicht hätte erhoben werden können, dieser also conditio sine qua non des zweiten ist (Botschaft vom 21. Dezember 2005 zur Vereinheitlichung des Strafprozessrechts, BBl 2006 1184 Ziff. 2.4.1.1). Laut der Botschaft wäre beispielsweise die Aussage eines Zeugen, der gestützt auf eine - wegen fehlender Belehrung unverwertbaren - Aussage der beschuldigten Person gefunden werden konnte, verwertbar. Dies, weil der Zeuge auch ohne die unverwertbare Aussage der beschuldigten Person hätte ausfindig gemacht werden können. Unverwertbar wäre dagegen ein Gutachten, das auf unverwertbaren Aussagen der beschuldigten Person beruht (a.a.O.). Dies entspricht der bundesgerichtlichen Praxis vor Inkrafttreten der StPO, wonach einzig von der Unverwertbarkeit aufgrund einer Fernwirkung auszugehen ist, wenn der ursprüngliche, ungültige Beweis unverzichtbare Voraussetzung des mittelbar erlangten Beweises ist (<ref-ruling> E. 2.4.1 mit Hinweis).
2.5 Der Beschwerdeführer hat, wie von der Vorinstanz dargelegt, anlässlich der polizeilichen Hafteinvernahme vom 4. November 2011 ausführliche Angaben zum Umfang des von ihm betriebenen Kokainhandels gemacht. Es gibt keine Hinweise dafür, dass diese Einvernahme als Beweismittel unverwertbar wäre. Aus dem vom Beschwerdeführer unterzeichneten Einvernahmeprotokoll geht hervor, dass die von <ref-law> vorgeschriebenen Hinweise gemacht wurden. Insbesondere wurde der Beschwerdeführer auf die Möglichkeit der Verweigerung der Aussage und der Mitwirkung sowie auf sein Recht hingewiesen, eine Verteidigung zu bestellen oder gegebenenfalls eine amtliche Verteidigung zu beantragen. Der Beschwerdeführer erklärte sich ausdrücklich damit einverstanden, in dieser Einvernahme ohne Anwalt Angaben zu machen.
Das Geständnis erscheint nicht kausal durch die vom Beschwerdeführer kritisierten früheren Beweiserhebungen (Observation und Hausdurchsuchung) bedingt. Im Gegensatz zu <ref-ruling>, wo der Betroffene bei der polizeilichen Befragung das vorgeworfene Delikt zunächst bestritten hatte und erst unter Vorhaltung beweisrechtlich unverwertbarer Filmaufnahmen gestand (a.a.O., E. 2.4.2 S. 225 f.), erteilte der Beschwerdeführer vorliegend Auskunft, ohne zu wissen, welche Beweismittel gegen ihn vorlagen. Die vom Beschwerdeführer als unverwertbar bezeichneten Beweismittel wurden ihm nicht vorgehalten. Unter diesen Voraussetzungen kann nicht gesagt werden, die beanstandeten früheren Beweismittel seien unabdingbare Voraussetzung für das spätere Geständnis. Dessen Verwertbarkeit erscheint damit nicht von vornherein ausgeschlossen, weshalb es das Obergericht zu Recht zur Bejahung des dringenden Tatverdachts herangezogen hat. Ob die Kritik des Beschwerdeführers an der Observation und der Hausdurchsuchung gerechtfertigt ist und wie es sich mit der Verwertbarkeit dieser Beweismittel verhält, kann unter diesen Umständen offen bleiben.
2.6 Die Rüge der ungenügenden Begründung des angefochtenen Entscheids ist ebenfalls unbegründet. Das rechtliche Gehör nach <ref-law> verlangt nicht, dass sich die Behörde mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 236 mit Hinweisen). Diesen Anforderungen genügt die oben wiedergegebene Begründung des vorinstanzlichen Haftentscheids zweifellos.
2.7 Schliesslich ist nicht ersichtlich, inwiefern die vom Beschwerdeführer behaupteten Verfahrensverletzungen zur Unverhältnismässigkeit und damit zur Unrechtmässigkeit der Untersuchungshaft führen könnten. Die behaupteten Verfahrensverletzungen stehen in keinem direkten Zusammenhang zu den Voraussetzungen der Untersuchungshaft. Nicht nachvollziehbar ist zudem die Behauptung, dass unter den gegebenen Voraussetzungen eine angemessene Verteidigung nicht mehr möglich sein sollte.
3. Die Beschwerde ist abzuweisen. Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen
2. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1 Es werden keine Gerichtskosten erhoben.
2.2 Rechtsanwalt Urs P. Keller wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft II des Kantons Zürich, dem Bezirksgericht Zürich, Zwangsmassnahmengericht, und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 13. April 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold