Sachverhalt: A. Der 1961 in Nigeria geborene X._ ist französischer Staatsangehöriger. Er reiste am 12. Februar 2004 erstmals in die Schweiz ein, wo er eine Kurzaufenthaltsbewilligung zum Zweck der Stellensuche erhielt. Seit dem 1. Juni 2005 verfügte er über eine bis zum 11. Februar 2009 gültig gewesene Aufenthaltsbewilligung EG/EFTA. Nachdem bereits die schweizerischen Strafverfolgungsbehörden Ermittlungen gegen ihn eingeleitet hatten, wurde X._ am 29. Juni 2006 in Frankreich verhaftet und am 3. Juli 2006 vom Tribunal de Grande Instance de Bobigny wegen Betäubungsmitteldelikten zu einer Freiheitsstrafe von drei Jahren verurteilt. Nach seiner Entlassung aus dem Strafvollzug am 22. Juli 2009 reiste X._ erneut in die Schweiz ein, wo er um Verlängerung bzw. Neuerteilung der Aufenthaltsbewilligung EG/EFTA ersuchte. Mit Verfügung vom 7. Januar 2011 lehnte das Amt für Migration und Personenstand des Kantons Bern das Gesuch ab, und es wies X._ aus der Schweiz weg. B. Gegen diese Verfügung beschwerte sich X._ bei der Polizei- und Militärdirektion des Kantons Bern, welche die Beschwerde am 23. November 2011 abwies. Hiergegen führte der Betroffene Beschwerde beim Verwaltungsgericht des Kantons Bern, welche mit Urteil vom 3. Februar 2012 ebenfalls abgewiesen wurde. C. Mit Eingabe vom 9. März 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, es sei ihm die nachgesuchte Aufenthaltsbewilligung EG/EFTA zu erteilen. Eventualiter sei die Angelegenheit zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Die Polizei- und Militärdirektion und das Verwaltungsgericht des Kantons Bern sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Mit Verfügung vom 16. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Schweizerischen Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt und festgehalten, einer Arbeitstätigkeit des Beschwerdeführers stehe nichts entgegen.