Sachverhalt: A. Der 1986 geborene X._, Staatsangehöriger von Gambia, reiste am 16. Mai 2004 in die Schweiz ein und stellte unter falschem Namen ein Asylgesuch. Nach dessen Abweisung verblieb er zunächst in der Schweiz und galt seit August 2007 als untergetaucht. Nachdem er in Gambia eine Schweizer Bürgerin geheiratet hatte, reiste er am 28. Januar 2008 im Rahmen des Familiennachzugs wieder in die Schweiz ein, wo ihm eine Aufenthaltsbewilligung erteilt und letztmals bis zum 27. Januar 2011 verlängert wurde. Das Verhalten von X._ in der Schweiz gab Anlass zu schweren Klagen: Mit Urteil vom 21. Oktober 2010 verurteilte ihn das Kreisgericht X Thun wegen mehrfachen und teilweise qualifiziert begangenen Widerhandlungen gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von 20 Monaten. Der Vollzug der Strafe wurde bei einer Probezeit von drei Jahren aufgeschoben. Als Folge dieser Delinquenz verweigerte die Einwohnergemeinde Bern mit Verfügung vom 28. April 2011 die Verlängerung der Aufenthaltsbewilligung von X._. B. Gegen die Nichtverlängerung seiner Aufenthaltsbewilligung beschwerte sich X._ ohne Erfolg bei der Polizei- und Militärdirektion des Kantons Bern: Diese wies die Beschwerde mit Entscheid vom 26. Juli 2011 ab. Hiergegen führte X._ Beschwerde beim Verwaltungsgericht des Kantons Bern, welches das Rechtsmittel mit Urteil vom 2. Februar 2012 abwies. C. Mit Eingabe vom 7. März 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er stellt den Antrag, es sei das Urteil des Verwaltungsgerichts aufzuheben und ihm die Aufenthaltsbewilligung zu verlängern. Die Einwohnergemeinde der Stadt Bern, die Polizei- und Militärdirektion sowie das Verwaltungsgericht des Kantons Bern und das Bundesamt für Migration beantragen die Abweisung der Beschwerde. Mit Verfügung vom 12. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.