Sachverhalt:
A. Der portugiesische Staatsangehörige X._ (geb. 1982) reiste im Mai 2005 in die Schweiz ein, wo er zunächst mehrere Kurzaufenthaltsbewilligungen EG/EFTA zum Zweck der unselbständigen Erwerbstätigkeit erhielt. Seit dem 27. November 2007 verfügt er über eine Aufenthaltsbewilligung EG/EFTA, die noch bis zum 26. November 2012 gültig ist.
Am 9. November 2007 verurteilte das Kreispräsidium Roveredo X._ wegen grober Verletzung von Verkehrsregeln zu einer bedingten Geldstrafe von 15 Tagessätzen à Fr. 60.-- sowie einer Busse von Fr. 600.--. Am 11. Juni 2010 wurde er vom Bezirksgericht Plessur wegen mehrfacher Wiederhandlung gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von 36 Monaten, unter bedingtem Aufschub einer Teilstrafe von 24 Monaten, sowie einer Busse von Fr. 600.-- verurteilt. Das Kantonsgericht von Graubünden bestätigte diesen Entscheid mit Urteil vom 9. September 2011.
B. Am 13. September 2011 verfügte das Amt für Polizeiwesen und Zivilrecht Graubünden den Widerruf der Aufenthaltsbewilligung EG/EFTA und wies X._ aus der Schweiz weg. Gegen diese Verfügung beschwerte sich X._ beim Departement für Justiz, Sicherheit und Gesundheit Graubünden, welches die Beschwerde am 5. Dezember 2011 abwies. Hiergegen führte der Betroffene Beschwerde beim Verwaltungsgericht des Kantons Graubünden, die mit Urteil vom 21. Februar 2012 ebenfalls abgewiesen wurde.
C. Mit Eingabe vom 16. Mai 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons Graubünden vom 21. Februar 2012 sei aufzuheben und es sei von einem Widerruf der Daueraufenthaltsbewilligung EG/EFTA abzusehen.
Das Amt für Polizeiwesen und Zivilrecht und das Departement für Justiz, Sicherheit und Gesundheit Graubünden schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Graubünden beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Migration beantragt - mit Postaufgabe vom 29. August 2012 und deshalb verspätet und unbeachtlich - die Abweisung der Beschwerde.
Mit Verfügung vom 23. Mai 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Als portugiesischer Staatsangehöriger kann sich der Beschwerdeführer auf das Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Union und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681) berufen, welches ihm einen grundsätzlichen Anspruch auf Erteilung einer Aufenthaltsbewilligung einräumt (Art. 4 FZA; Art. 6 Abs. 1 Anhang I FZA; vgl. E. 3.1 hiernach). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde (Art. 42 und Art. 100 Abs. 1 BGG) ist daher grundsätzlich einzutreten (unter Vorbehalt von E. 1.2 und E. 1.3 hiernach).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>; vgl. <ref-ruling> E. 2.1 S. 245 f.), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Eine qualifizierte Rügepflicht gilt u.a. hinsichtlich der Verletzung von Grundrechten. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287). Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 2.2 S. 246).
1.3 Das Bundesgericht stellt grundsätzlich auf den von der Vorinstanz festgestellten Sachverhalt ab (<ref-law>). Im vorliegenden Fall erhebt der Beschwerdeführer keine Rüge, die Feststellung des Sachverhalts sei offensichtlich unrichtig (Art. 97 Abs. 1 bzw. <ref-law>), weshalb die Feststellungen der Vorinstanz für das Bundesgericht grundsätzlich verbindlich sind.
2. 2.1 Die mehrfach erhobene Rüge des Beschwerdeführers, die Vorinstanz habe die Begründungspflicht und damit seinen Gehörsanspruch verletzt, erweist sich vorab als unbegründet: Aus dem Anspruch auf rechtliches Gehör nach <ref-law> folgt zwar in der Tat die grundsätzliche Pflicht der Behörde, ihren Entscheid zu begründen. Das bedeutet indessen nicht, dass sich die Behörde mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Der Rechtsuchende soll wissen, warum die Behörde entgegen seinem Antrag entschieden hat, damit er gegebenenfalls den Entscheid sachgerecht anfechten kann (<ref-ruling> E. 3.1 S. 277 mit Hinweisen). Diesen Anforderungen genügt der vorinstanzliche Entscheid.
2.2 Ebenso wenig durchzudringen vermag der Beschwerdeführer mit der Rüge, die Vorinstanz habe den Anspruch auf rechtliches Gehör verletzt, indem seine Freundin bzw. er selber von der Vorinstanz nicht persönlich angehört worden sei. Zwar umfasst der Anspruch auf rechtliches Gehör u.a. auch das Recht der Betroffenen, mit erheblichen Beweisanträgen gehört zu werden. Jedoch ist dieser Anspruch nicht verletzt, wenn ein Gericht deshalb auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener (antizipierter) Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.3 S. 148 mit Hinweisen). Diese Voraussetzungen waren vorliegend ohne Weiteres erfüllt: Auf die Einvernahme der Freundin des Beschwerdeführers durfte die Vorinstanz verzichten, da sie dieser Beziehung keine rechtserhebliche Bedeutung zumisst (vgl. E. 3.4 hiernach). Was den Beschwerdeführer betrifft, so liegen dessen Aussagen den Akten bei. Er hatte zudem genügend Gelegenheit, sich zu äussern und allenfalls weitere Belege einzureichen, um seinen Standpunkt darzulegen. Im Übrigen bilden aufenthaltsrechtliche Entscheide keine zivil- oder strafrechtlichen Streitigkeiten im Sinne von Art. 6 EMRK, auch wenn sie im Zusammenhang mit einer Erwerbstätigkeit oder einer strafrechtlichen Verurteilung stehen (vgl. <ref-ruling> E. 4.4.2 S. 133 f. mit Hinweisen).
3. 3.1 Die Erteilung bzw. der Widerruf von Aufenthaltsbewilligungen richtet sich grundsätzlich nach dem Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (Ausländergesetz, AuG; SR 142.20). Für Staatsangehörige der Mitgliedstaaten der Europäischen Union hat das Ausländergesetz allerdings nur insoweit Geltung, als das Freizügigkeitsabkommen keine abweichende Bestimmung enthält oder das Ausländergesetz eine für den Ausländer vorteilhaftere Regelung enthält (Art. 2 Abs. 2 AuG), was hier indes nicht der Fall ist.
Gemäss Art. 4 FZA i.V.m. Art. 6 Abs. 1 Anhang I FZA hat ein Staatsangehöriger einer Vertragspartei, der mit einem Arbeitgeber des Aufnahmestaates ein Arbeitsverhältnis mit einer Dauer von mindestens einem Jahr eingegangen ist, Anspruch auf Erteilung einer Aufenthaltserlaubnis mit einer Gültigkeitsdauer von mindestens fünf Jahren.
Wie die Vorinstanz zutreffend ausgeführt hat, gilt dieser Anspruch jedoch nicht absolut. Er kann namentlich eingeschränkt werden, wenn von der ausländischen Person eine hinreichend schwere und gegenwärtige Gefährdung der öffentlichen Ordnung, Sicherheit oder Gesundheit ausgeht (Art. 5 Anhang I FZA). Dazu wird auf die Richtlinien 64/221/EWG (ABl. Nr. 56, 1964, S. 850), 72/194/EWG (ABl. Nr. L 121, 1972, S. 32) und 75/35/EWG (ABl. Nr. L 14, 1975, S. 10) Bezug genommen.
Nach Art. 3 Absatz 1 der Richtlinie 64/221/EWG darf bei Massnahmen der öffentlichen Ordnung oder Sicherheit ausschliesslich das persönliche Verhalten der betreffenden Person ausschlaggebend sein, und nach Absatz 2 dieses Artikels können strafrechtliche Verurteilungen allein nicht ohne Weiteres diese Massnahmen begründen. Nach der gemäss Art. 16 Abs. 2 FZA zu berücksichtigenden Rechtsprechung des Europäischen Gerichtshofes (EuGH) und derjenigen des Bundesgerichts darf daher eine strafrechtliche Verurteilung nur insoweit als Anlass für eine Massnahme herangezogen werden, als die ihr zugrunde liegenden Umstände ein persönliches Verhalten erkennen lassen, das eine gegenwärtige Gefährdung der öffentlichen Ordnung darstellt. Art. 5 Anhang I FZA steht somit Massnahmen entgegen, die (allein) aus generalpräventiven Gründen verfügt werden. Insoweit kommt es wesentlich auf das Rückfallrisiko an, wobei die in Kauf zu nehmende Rückfallgefahr desto geringer ist, je schwerer die möglichen Rechtsgüterverletzungen sind (Urteil 2C_903/2010 vom 6. Juni 2011 E. 4.3, nicht publ. in: <ref-ruling>; <ref-ruling> E. 4.2 S. 20; je mit Hinweisen).
3.2 Dem Urteil des Bezirksgerichts Plessur vom 11. Juni 2010 lag zugrunde, dass der Beschwerdeführer über einen Zeitraum von rund einem Jahr 505,2 Gramm reines Kokain sowie 4'550 Gramm Marihuana in Umlauf gebracht hat. Dafür wurde er zu einer Freiheitsstrafe von 36 Monaten verurteilt, die das Kantonsgericht von Graubünden am 9. September 2010 bestätigt hat. Die grosse Menge des gehandelten Rauschgifts sowie die dafür ausgesprochene Strafe von drei Jahren weisen auf ein sehr schweres Verschulden sowie auf eine ausgeprägte Gefährdung der öffentlichen Ordnung hin. Erschwerend kommt hinzu, dass der Beschwerdeführer gemäss dem Strafurteil einzig aus Gewinnsucht gehandelt hat und nicht zwecks Finanzierung des Eigenkonsums; er hat damit gesundheitliche Schäden anderer in Kauf genommen, nur um seine finanzielle Situation aufzubessern.
Entgegen der Ansicht des Beschwerdeführers dauert die Gefährdung der öffentlichen Ordnung noch immer an: Am 4. November 2011 musste der Beschwerdeführer im Strafvollzug wegen Besitzes von Marihuana verwarnt werden. Aus diesem Umstand erhellt, dass der Beschwerdeführer auch nach seiner Verurteilung und jedenfalls bis in die jüngste Vergangenheit weiterhin mit Betäubungsmitteln in Kontakt stand und damit notwendigerweise auch über die entsprechenden Verbindungen für den Erwerb des Rauschgifts verfügte. Zwar mag es zutreffen, dass der erwähnte Besitz von Betäubungsmitteln im Strafvollzug kein erneutes Strafverfahren auslöste und es sich bei diesem Delikt nicht um eine schwere Verfehlung handelt. Massgebend ist jedoch, dass der Beschwerdeführer sein Verhalten trotz der Verbüssung einer Freiheitsstrafe und insbesondere trotz der von ihm behaupteten Resozialisierung offenbar nicht in dem Sinne grundlegend und nachhaltig korrigieren konnte, dass er von Drogen generell Abstand nimmt.
An diesem Eindruck vermag auch der vom Beschwerdeführer zitierte Vollzugsbericht der Justizvollzugsanstalt bzw. das ins Recht gelegte ärztliche Zeugnis nichts zu ändern. Auch eine aus der Sicht des Massnahmenvollzugs positive Entwicklung oder ein klagloses Verhalten im Strafvollzug schliessen eine Rückfallgefahr und eine fremdenpolizeiliche Ausweisung nicht aus (<ref-ruling> E. 5.2.2 mit Hinweisen).
3.3 Somit ist nicht zu beanstanden, wenn die Vorinstanz eine gewisse Wahrscheinlichkeit angenommen hat, dass der Beschwerdeführer wieder deliktisch tätig wird. Gerade im Bereich des Betäubungsmittelhandels, der zur Beeinträchtigung der Gesundheit vieler Menschen führen kann, ist diese Rückfallgefahr umso weniger hinzunehmen (vgl. auch <ref-ruling> E. 4.3.1 S. 185 f.; Urteil des EGMR Dalia gegen Frankreich vom 19. Februar 1998, Recueil CourEDH 1998 I S. 76 insbes. § 54). Demzufolge durfte die Vorinstanz von einer hinreichend schweren und aktuellen Gefährdung der öffentlichen Sicherheit und Ordnung ausgehen.
3.4 Dass der Widerruf der Aufenthaltsbewilligung verbunden mit einer Rückkehr nach Portugal für den Beschwerdeführer eine besondere Härte bedeuten würde und deshalb unverhältnismässig sein könnte, ist überdies nicht ersichtlich, da er sich nur während relativ kurzer Zeit und bloss zu Erwerbszwecken in der Schweiz aufgehalten hat. Nach seiner Einreise im Mai 2005 delinquierte der Beschwerdeführer bereits ab Februar 2009 erheblich mit Betäubungsmitteln; die Drogendelinquenz endete erst mit seiner Verhaftung im Januar 2010.
Soweit sich der Beschwerdeführer schliesslich auf Art. 8 EMRK beruft und geltend macht, er pflege eine enge Beziehung zu seinen hier ansässigen Verwandten und seiner (Schweizer) Freundin, kann er daraus nichts zu seinen Gunsten ableiten. Dass zwischen ihm und seinen Familienangehörigen ein eigentliches Abhängigkeitsverhältnis (vgl. <ref-ruling> E. 3.4.2 S. 159; <ref-ruling> E. 2 S. 14; <ref-ruling> E. 1d und e S. 261 f.) bestünde, ist weder dargetan noch ersichtlich. Insoweit wird Art. 8 EMRK durch die fragliche Massnahme nicht verletzt. Die Beziehung zu seiner Freundin kann zwar in den Schutzbereich von Art. 8 EMRK fallen; dies setzt jedoch voraus, dass eine genügend nahe, echte und tatsächlich gelebte Beziehung besteht; entscheidend ist die Qualität des Familienlebens und nicht dessen rechtliche Begründung (<ref-ruling> E. 3.1 S. 148). Ob die kinderlose, relativ kurze Beziehung als hinreichend stabil betrachtet werden kann, um dem Beschwerdeführer einen Bewilligungsanspruch gestützt auf Art. 8 EMRK einzuräumen, erscheint aufgrund der bundesgerichtlichen Praxis (vgl. Urteile 2C_225/2010 vom 4. Oktober 2010 E. 2.2 und 2C_300/2008 vom 17. Juni 2008 E. 4.2) als zweifelhaft. Die Frage kann jedoch dahingestellt bleiben, da ein Eingriff in das geschützte Privat- bzw. Familienleben nach Art. 8 Abs. 2 EMRK angesichts der Schwere der noch nicht weit zurückliegenden Straftätigkeit im Bereich des Betäubungsmittelhandels ohnehin verhältnismässig wäre (vgl. Urteil 2C_634/2011 vom 27. Juni 2012 mit Hinweisen).
3.5 Zusammenfassend ergibt sich, dass angesichts der hiervor aufgezeigten Umstände die Voraussetzungen für eine Einschränkung im Sinne von Art. 5 Anhang I FZA im vorliegenden Fall erfüllt sind. Namentlich hat sich die Vorinstanz keineswegs von rein generalpräventiven Überlegungen leiten lassen, sondern - im Gegenteil - auf die konkrete Gefährdung der öffentlichen Sicherheit abgestellt, die vom Beschwerdeführer ausgeht. Der Widerruf der Aufenthaltsbewilligung EG/EFTA ist daher nicht zu beanstanden.
4. Nach dem Ausgeführten ist die Beschwerde unbegründet und somit abzuweisen. Dem Verfahrensausgang entsprechend sind die Gerichtskosten (<ref-law>) dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Graubünden, 1. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 30. Oktober 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger