Sachverhalt: A. Die Staatsanwaltschaft II des Kantons Zürich führt gegen X._ eine Strafuntersuchung wegen Widerhandlungen gegen das Betäubungsmittelgesetz (SR 812.121). Sie wirft ihm vor, über einen längeren Zeitraum Betäubungsmittel erworben und gewinnbringend weiterverkauft zu haben. X._ wurde am 4. November 2011 festgenommen und mit Verfügung des Haftrichters des Bezirksgerichts Zürich vom 7. November 2011 in Untersuchungshaft versetzt. Mit Verfügung vom 6. Februar 2012 bewilligte das Zwangsmassnahmengericht des Bezirks Zürich auf Antrag der Staatsanwaltschaft die Fortsetzung der Untersuchungshaft bis zum 6. Mai 2012. Eine dagegen von X._ erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 15. März 2012 ab. B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 23. März 2012 beantragt X._, der Beschluss des Obergerichts sei aufzuheben und er selbst sei aus der Haft zu entlassen. Das Zwangsmassnahmengericht und das Obergericht haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde. Der Beschwerdeführer hält in seiner Stellungnahme dazu im Wesentlichen an seinen Anträgen und Rechtsauffassungen fest.