Sachverhalt:
A. Der 1961 in Nigeria geborene X._ ist französischer Staatsangehöriger. Er reiste am 12. Februar 2004 erstmals in die Schweiz ein, wo er eine Kurzaufenthaltsbewilligung zum Zweck der Stellensuche erhielt. Seit dem 1. Juni 2005 verfügte er über eine bis zum 11. Februar 2009 gültig gewesene Aufenthaltsbewilligung EG/EFTA.
Nachdem bereits die schweizerischen Strafverfolgungsbehörden Ermittlungen gegen ihn eingeleitet hatten, wurde X._ am 29. Juni 2006 in Frankreich verhaftet und am 3. Juli 2006 vom Tribunal de Grande Instance de Bobigny wegen Betäubungsmitteldelikten zu einer Freiheitsstrafe von drei Jahren verurteilt.
Nach seiner Entlassung aus dem Strafvollzug am 22. Juli 2009 reiste X._ erneut in die Schweiz ein, wo er um Verlängerung bzw. Neuerteilung der Aufenthaltsbewilligung EG/EFTA ersuchte. Mit Verfügung vom 7. Januar 2011 lehnte das Amt für Migration und Personenstand des Kantons Bern das Gesuch ab, und es wies X._ aus der Schweiz weg.
B. Gegen diese Verfügung beschwerte sich X._ bei der Polizei- und Militärdirektion des Kantons Bern, welche die Beschwerde am 23. November 2011 abwies. Hiergegen führte der Betroffene Beschwerde beim Verwaltungsgericht des Kantons Bern, welche mit Urteil vom 3. Februar 2012 ebenfalls abgewiesen wurde.
C. Mit Eingabe vom 9. März 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, es sei ihm die nachgesuchte Aufenthaltsbewilligung EG/EFTA zu erteilen. Eventualiter sei die Angelegenheit zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen.
Die Polizei- und Militärdirektion und das Verwaltungsgericht des Kantons Bern sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
Mit Verfügung vom 16. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Schweizerischen Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt und festgehalten, einer Arbeitstätigkeit des Beschwerdeführers stehe nichts entgegen.

Erwägungen:
1. 1.1 Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Als französischer Staatsangehöriger kann sich der Beschwerdeführer auf das Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681) berufen, welches ihm einen grundsätzlichen Anspruch auf Erteilung einer Aufenthaltsbewilligung einräumt (vgl. Art. 4 FZA; Art. 6 Abs. 1 Anhang I FZA; E. 3.1 hiernach). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde (Art. 42 und Art. 100 Abs. 1 BGG) ist daher einzutreten (unter Vorbehalt von E. 1.2 und E. 1.3 hiernach).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>; vgl. <ref-ruling> E. 2.1 S. 245 f.), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Eine qualifizierte Rügepflicht gilt u.a. hinsichtlich der Verletzung von Grundrechten. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287). Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 2.2 S. 246).
1.3 Das Bundesgericht stellt grundsätzlich auf den von der Vorinstanz festgestellten Sachverhalt ab (<ref-law>). Im vorliegenden Fall bemängelt der Beschwerdeführer die vorinstanzlichen Sachverhaltsfeststellungen nicht, sondern erachtet diese vielmehr als korrekt.
2. Der Beschwerdeführer wendet vorab ein, das Verwaltungsgericht habe sich nicht mit zwei Beweismitteleingaben (konkret zwei ärztlichen Bescheinigungen) befasst, da es den Entscheid der Polizei- und Militärdirektion nur auf Rechtsverletzungen, nicht jedoch in Bezug auf den Sachverhalt habe prüfen können. Diese Beschränkung der Kognition verstosse gegen Bundesrecht.
Die Einwendung geht ins Leere: Zwar trifft es zu, dass das Bundesgerichtsgesetz den unmittelbaren richterlichen Vorinstanzen des Bundesgerichts u.a. eine freie Prüfung des Sachverhalts vorschreibt (<ref-law>), was auch die Zulässigkeit neuer Tatsachen und Beweismittel im vorinstanzlichen Verfahren bedeutet (<ref-ruling> E. 3.3 S. 374); damit wird die Rechtsweggarantie von <ref-law> umgesetzt, welche eine uneingeschränkte Sachverhalts- und Rechtskontrolle durch mindestens ein Gericht verlangt (Urteil 2C_651/2008 vom 20. April 2009 E. 4.2). Indessen ist festzuhalten, dass das kantonale Prozessrecht diesen Anforderungen trotz der etwas missverständlichen Formulierung in E. 1.3 des angefochtenen Entscheids vollumfänglich genügt: Gemäss Art. 80 lit. a des Gesetzes des Kantons Bern vom 23. Mai 1989 über die Verwaltungsrechtspflege (VRPG/BE) kann mit der Verwaltungsgerichtsbeschwerde insbesondere die unrichtige oder unvollständige Feststellung des Sachverhalts gerügt werden.
Aus E. 3.5 des angefochtenen Urteils ergibt sich denn auch eindeutig, dass sich das Verwaltungsgericht - wenn auch sehr knapp - mit den vom Beschwerdeführer eingereichten ärztlichen Bescheinigungen befasst, diese jedoch nicht als entscheidwesentlich qualifiziert hat.
3. 3.1 Die Erteilung bzw. Verlängerung von Aufenthaltsbewilligungen richtet sich grundsätzlich nach dem Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (Ausländergesetz, AuG; SR 142.20). Für Staatsangehörige der Mitgliedstaaten der Europäischen Gemeinschaft hat das Ausländergesetz allerdings nur insoweit Geltung, als das Freizügigkeitsabkommen keine abweichende Bestimmung enthält oder das Ausländergesetz eine für den Ausländer vorteilhaftere Regelung enthält (Art. 2 Abs. 2 AuG), was hier nicht der Fall ist.
Gemäss Art. 4 FZA i.V.m. Art. 6 Abs. 1 Anhang I FZA hat ein Staatsangehöriger einer Vertragspartei, der mit einem Arbeitgeber des Aufnahmestaates ein Arbeitsverhältnis mit einer Dauer von mindestens einem Jahr eingegangen ist, Anspruch auf Erteilung einer Aufenthaltserlaubnis mit einer Gültigkeitsdauer von mindestens fünf Jahren. Auf diese Bestimmungen beruft sich der Beschwerdeführer und behauptet, er erfülle die dort genannten Voraussetzungen, da er über einen unbefristeten Arbeitsvertrag (auf Stundenlohnbasis) als Hilfsarbeiter in einer Autowerkstatt verfüge.
Wie das Verwaltungsgericht zutreffend ausgeführt hat, gilt dieser Anspruch jedoch nicht absolut. Er kann namentlich eingeschränkt werden, wenn von der ausländischen Person eine hinreichend schwere und gegenwärtige Gefährdung der öffentlichen Ordnung, Sicherheit oder Gesundheit ausgeht (Art. 5 Anhang I FZA). Dazu wird auf die Richtlinien 64/221/EWG (ABl. Nr. 56, 1964, S. 850), 72/194/EWG (ABl. Nr. L 121, 1972, S. 32) und 75/35/EWG (ABl. Nr. L 14, 1975, S. 10) Bezug genommen.
Nach Art. 3 Abs. 1 der Richtlinie 64/221/EWG darf bei Massnahmen der öffentlichen Ordnung oder Sicherheit ausschliesslich das persönliche Verhalten der betreffenden Person ausschlaggebend sein, und nach Absatz 2 dieses Artikels können strafrechtliche Verurteilungen allein nicht ohne Weiteres diese Massnahmen begründen. Nach der gemäss Art. 16 Abs. 2 FZA zu berücksichtigenden Rechtsprechung des Europäischen Gerichtshofes (EuGH) und derjenigen des Bundesgerichts darf daher eine strafrechtliche Verurteilung nur insoweit als Anlass für eine Massnahme herangezogen werden, als die ihr zugrunde liegenden Umstände ein persönliches Verhalten erkennen lassen, das eine gegenwärtige Gefährdung der öffentlichen Ordnung darstellt. Art. 5 Anhang I FZA steht somit Massnahmen entgegen, die (allein) aus generalpräventiven Gründen verfügt werden. Insoweit kommt es wesentlich auf das Rückfallrisiko an, wobei die in Kauf zu nehmende Rückfallgefahr desto geringer ist, je schwerer die möglichen Rechtsgüterverletzungen sind (Urteil 2C_903/2010 vom 6. Juni 2011 E. 4.3, nicht publ. in <ref-ruling>; <ref-ruling> E. 4.2 S. 20 mit Hinweisen).
3.2 Dem Urteil des Tribunal de Grande Instance de Bobigny vom 3. Juli 2006 lag zugrunde, dass der Beschwerdeführer gemeinsam mit einer Begleitperson 670 Gramm Kokain von Belgien nach Frankreich transportierte und sich so am organisierten Drogenhandel beteiligte. Die grosse Menge des geschmuggelten Rauschgifts sowie die dafür ausgesprochene und vom Beschwerdeführer akzeptierte Strafe von drei Jahren weisen auf ein sehr schweres Verschulden sowie auf eine ausgeprägte Gefährdung der öffentlichen Ordnung hin, welche entgegen der Ansicht des Beschwerdeführers noch immer andauert: Mit Strafbefehl vom 17. Februar 2011 wurde der Beschwerdeführer nämlich wegen Konsums von Kokain verurteilt; anlässlich einer Verkehrskontrolle am 23. November 2010 war er mittels eines Schnelltests positiv auf Kokain getestet worden und bei der anschliessenden Laboranalyse konnten Kokainabbauprodukte im Urin nachgewiesen werden. Aus diesem Umstand erhellt, dass der Beschwerdeführer auch nach seiner Entlassung aus dem Strafvollzug und jedenfalls bis in die jüngste Vergangenheit weiterhin mit Kokain in Kontakt stand und damit notwendigerweise auch über die entsprechenden Verbindungen für den Erwerb des Rauschgifts verfügte. Zwar trifft es zu, dass für den Kokainkonsum lediglich eine Busse ausgesprochen wurde und es sich bei diesem erneuten Delikt nicht um eine schwere Straftat handelt. Massgebend ist jedoch, dass der Beschwerdeführer sein Verhalten trotz der Verbüssung einer mehrjährigen Freiheitsstrafe und insbesondere trotz der von ihm behaupteten Resozialisierung durch eine vollzugsbegleitende Psychotherapie offenbar nicht in dem Sinne grundlegend und nachhaltig korrigieren konnte, dass er von Drogen generell Abstand nimmt.
An diesem Eindruck können auch die vom Beschwerdeführer eingereichten ärztlichen Bescheinigungen nichts ändern, welche in neuster Zeit keine Hinweise auf Drogenkonsum mehr ergeben haben, zumal seit der letzten einschlägigen Verurteilung erst sehr wenig Zeit vergangen ist.
Dass die Nichterteilung bzw. Nichtverlängerung der Aufenthaltsbewilligung verbunden mit einer Rückkehr nach Frankreich für den Beschwerdeführer eine besondere Härte bedeuten würde und deshalb unverhältnismässig sein könnte, wird von diesem nicht behauptet und es ist dies auch nicht ersichtlich, da er sich nur während kurzer Zeit in der Schweiz aufhielt und hier keine Familienangehörigen hat.
3.3 Angesichts der hiervor aufgezeigten Umstände sind die Voraussetzungen für eine Einschränkung im Sinne von Art. 5 Anhang I FZA im vorliegenden Fall erfüllt. Namentlich hat sich die Vorinstanz keineswegs von rein generalpräventiven Überlegungen leiten lassen, sondern - im Gegenteil - auf die konkrete Gefährdung der öffentlichen Sicherheit abgestellt, die vom Beschwerdeführer ausgeht. Die Nichterteilung bzw. Nichtverlängerung der Aufenthaltsbewilligung EG/EFTA ist daher nicht zu beanstanden.
4. Sodann rügt der Beschwerdeführer, das Verwaltungsgericht habe ihm im vorinstanzlichen Verfahren zu Unrecht die unentgeltliche Prozessführung und Verbeiständung verweigert; insbesondere habe es die Beschwerde in unzutreffender Weise als aussichtslos bezeichnet.
Gemäss <ref-law> haben Personen, die nicht über die erforderlichen Mittel verfügen und deren Rechtsbegehren nicht aussichtslos erscheint, Anspruch auf unentgeltliche Rechtspflege. Falls es darüber hinaus zur Wahrung ihrer Rechte notwendig ist, haben sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand (<ref-ruling> E. 2.2 S. 182 mit Hinweisen). Im vorliegenden Fall wird nicht eingewendet, dass sich aus dem bernischen Verfassungs- und Verfahrensrecht ein weitergehender Anspruch ergebe. Massgebend ist daher allein die bundesrechtliche Minimalgarantie. Als aussichtslos sind nach der bundesgerichtlichen Rechtsprechung Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde; eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (<ref-ruling> E. 2.3.1 S. 135 f.).
Aufgrund der sehr schwerwiegenden Betäubungsmitteldelinquenz des Beschwerdeführers sowie seines erneuten Betäubungsmittelkonsums nach seiner Haftentlassung erscheint die Auffassung des Verwaltungsgerichts zumindest vertretbar, die Erfolgsaussichten des Beschwerdeführers als deutlich geringer einzustufen als die Wahrscheinlichkeit eines Misserfolgs. Somit liegt keine Verletzung von <ref-law> vor, wenn das Verwaltungsgericht die Beschwerde im vorinstanzlichen Verfahren als aussichtslos bezeichnet hat. Gleiches gilt im Übrigen für die Beschwerde im Verfahren vor Bundesgericht.
5. Nach dem Ausgeführten ist die Beschwerde unbegründet und somit abzuweisen. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit der Beschwerde ebenfalls abzuweisen (<ref-law> e contrario). Die Gerichtskosten sind daher dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten sowie dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 8. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler