Erwägungen:
1. 1.1 X._ (geb. 1974) stammt aus Nigeria. Am 20. Januar 2003 reiste er illegal in die Schweiz ein und ersuchte erfolglos um Asyl. In der Folge hielt er sich illegal weiter in der Schweiz auf. Am 18. Juni 2005 heiratete X._ die Schweizer Bürgerin Y._, worauf ihm die Aufenthaltsbewilligung zum Verbleib bei dieser erteilt wurde. Die eheliche Gemeinschaft wurde im November 2009 aufgegeben und seither nicht wieder aufgenommen.
1.2 Seit der Einreise in die Schweiz wurde X._ wiederholt straffällig: Bereits im Jahr 2003 wurde er wegen Widerhandlungen gegen das Betäubungsmittelgesetz (BetmG) sowie Missachtung einer Ausgrenzungsverfügung zu einer Gefängnisstrafe von 16 Tagen verurteilt; am 19. Mai 2006 wurde er sodann der mehrfachen Widerhandlung gegen das BetmG, der Übertretung des BetmG sowie der mehrfachen Widerhandlung gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer (ANAG) schuldig gesprochen und zu einer Gefängnisstrafe von 12 Monaten verurteilt. Das Migrationsamt des Kantons Zürich verwarnte X._ deswegen mit Verfügung vom 14. Juni 2007.
1.3 Nachdem es festgestellt hatte, dass die eheliche Gemeinschaft im November 2009 aufgegeben worden war und dass X._ nicht als integriert betrachtet werden konnte, lehnte das Migrationsamt des Kantons Zürich am 9. Juli 2010 die Verlängerung seiner Aufenthaltsbewilligung ab und setzte ihm eine Ausreisefrist an. Sowohl die Rekursabteilung der Sicherheitsdirektion (20. Oktober 2010) als auch das Verwaltungsgericht des Kantons Zürich (23. März 2011) wiesen eine gegen den Entscheid des Migrationsamts gerichtete Beschwerde ab.
1.4 Vor Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben und die Sache an die Vorinstanz zurückzuweisen. Im Weiteren ersucht er um unentgeltliche Rechtspflege. Mit Verfügung vom 3. Juni 2011 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zu.
2. Soweit sie den gesetzlichen Begründungsanforderungen genügt (Art. 42 i.V.m. Art. 106 Abs. 2 BGG) und sie sich nicht auf unzulässige Noven beruft (Art. 99 BGG; BGE 133 III 393 E. 3 S. 395), erweist sich die Eingabe, welche als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegenzunehmen ist (Urteil 2C_304/2009 vom 9. Dezember 2009 E. 1.1), als offensichtlich unbegründet. Sie kann deshalb ohne Weiterungen im vereinfachten Verfahren nach Art. 109 BGG erledigt werden:
2.1 Gemäss Art. 42 Abs. 1 AuG hat der ausländische Ehegatte eines Schweizers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn er mit diesem zusammenwohnt. Nach Art. 49 AuG brauchen Eheleute nicht zusammenzuwohnen, wenn für getrennte Wohnorte wichtige Gründe geltend gemacht werden und die Familiengemeinschaft weiter besteht. Nach Auflösung der Ehe oder der Familiengemeinschaft hat der ausländische Ehegatte gemäss Art. 50 Abs. 1 AuG weiterhin einen Anspruch auf Verlängerung der Aufenthaltsbewilligung nach Art. 42 AuG, wenn (lit. a) die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht oder (lit. b) wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen.
2.2 Nach dem vorinstanzlich festgestellten Sachverhalt, der für das Bundesgericht verbindlich ist (Art. 105 Abs. 1 BGG), haben die Ehegatten die eheliche Gemeinschaft im November 2009 aufgegeben. Entgegen der Meinung des Beschwerdeführers entfällt demzufolge eine Weitergeltung des Bewilligungsanspruchs nach Art. 49 AuG bereits wegen fehlender Familiengemeinschaft. Daran ändert nichts, dass die Ehe bisher nicht geschieden wurde und die Eheleute auch noch keine entsprechenden Schritte unternommen haben (Urteile 2C_590/2010 vom 29. November 2010 E. 2.1 sowie 2C_635/2009 vom 26. März 2010 E. 4 und 5.1).
2.3 Kein Anspruch auf Bewilligungsverlängerung ergibt sich sodann aus Art. 50 Abs. 1 AuG.
2.3.1 Im Zusammenhang mit Art. 50 Abs. 1 lit. a AuG durfte das Verwaltungsgericht, dem diesbezüglich ein erheblicher Beurteilungsspielraum zukommt (Urteil 2C_839/2010 vom 25. Februar 2011 E. 7.1.2), ohne Weiteres schliessen, dass der Beschwerdeführer das Kriterium der "erfolgreichen Integration" nicht erfüllt:
Nach den für das Bundesgericht verbindlichen Sachverhaltsfeststellungen der Vorinstanz - namentlich zu seiner Straffälligkeit und zu seinem beruflichen Werdegang mit dem nur unregelmässigen Nachgehen einer Erwerbstätigkeit - kann von einer erfolgreichen Integration des Beschwerdeführers tatsächlich keine Rede sein (vgl. auch Art. 77 Abs. 4 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]).
Daran vermag auch nichts zu ändern, dass die von der Vorinstanz erwähnten Straftaten bereits zu einer Verwarnung geführt haben. In diesem Zusammenhang übersieht der Beschwerdeführer nämlich, dass die Vorinstanzen die Nichtverlängerung der Aufenthaltsbewilligung nicht mit dem Erlöschenstatbestand der Widerrufsgründe nach Art. 63 AuG rechtfertigen (Art. 51 Abs. 1 lit. b AuG), sondern auf die fehlende Integration abgestellt haben. Dabei sind auch die Straftaten, welche nicht zu einem ausländerrechtlichen Widerruf, sondern lediglich zu einer Verwarnung geführt haben, wie die Vorinstanz zu Recht festgehalten hat, ebenfalls zu berücksichtigen (Urteil 2C_505/2011 vom 30. August 2011 E. 2.3).
2.3.2 Der Beschwerdeführer macht gleichzeitig auch keine Umstände geltend, die geeignet wären, Grundlage für den Fortbestand des Bewilligungsanspruchs im Sinne von Art. 50 Abs. 1 lit. b und Abs. 2 AuG zu bilden (vgl. zu den wichtigen persönlichen Gründen, die einen weiteren Aufenthalt in der Schweiz "erforderlich" machen, BGE 137 II 1 E. 4 S. 7 ff.; 136 II 1 E. 4 und 5 S. 2 ff.).
3. Es wird schliesslich auch nicht in vertretbarer Weise geltend gemacht, inwiefern sich unter den gegebenen Umständen ein Anspruch auf Bewilligungsverlängerung aus Art. 13 BV bzw. Art. 8 EMRK ableiten liesse. Im Übrigen erfüllt die Beschwerde in diesem Punkt die Begründungsanforderungen von Art. 106 Abs. 2 BGG nicht, weshalb darauf nicht weiter einzugehen ist (BGE 134 II 244 E. 2.2 S. 246).
4. 4.1 Soweit darauf eingetreten werden kann, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten deshalb abzuweisen. Für alles Weitere kann auf die zutreffenden Ausführungen in den Entscheiden der Rekursabteilung der Sicherheitsdirektion bzw. des Verwaltungsgerichts des Kantons Zürich verwiesen werden (Art. 109 Abs. 3 BGG).
4.2 Da die vorliegende Eingabe von vornherein aussichtslos war, wird der unterliegende Beschwerdeführer - trotz Gesuchs um unentgeltliche Rechtspflege - kostenpflichtig (Art. 64 BGG). Bei der Festsetzung der Gerichtskosten kann seiner finanziellen Situation Rechnung getragen werden (Art. 66 Abs. 1 BGG). Es sind keine Parteientschädigungen geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, der Sicherheitsdirektion sowie dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 24. November 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Savoldelli