Sachverhalt: A. Der portugiesische Staatsangehörige X._ (geb. 1982) reiste im Mai 2005 in die Schweiz ein, wo er zunächst mehrere Kurzaufenthaltsbewilligungen EG/EFTA zum Zweck der unselbständigen Erwerbstätigkeit erhielt. Seit dem 27. November 2007 verfügt er über eine Aufenthaltsbewilligung EG/EFTA, die noch bis zum 26. November 2012 gültig ist. Am 9. November 2007 verurteilte das Kreispräsidium Roveredo X._ wegen grober Verletzung von Verkehrsregeln zu einer bedingten Geldstrafe von 15 Tagessätzen à Fr. 60.-- sowie einer Busse von Fr. 600.--. Am 11. Juni 2010 wurde er vom Bezirksgericht Plessur wegen mehrfacher Wiederhandlung gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von 36 Monaten, unter bedingtem Aufschub einer Teilstrafe von 24 Monaten, sowie einer Busse von Fr. 600.-- verurteilt. Das Kantonsgericht von Graubünden bestätigte diesen Entscheid mit Urteil vom 9. September 2011. B. Am 13. September 2011 verfügte das Amt für Polizeiwesen und Zivilrecht Graubünden den Widerruf der Aufenthaltsbewilligung EG/EFTA und wies X._ aus der Schweiz weg. Gegen diese Verfügung beschwerte sich X._ beim Departement für Justiz, Sicherheit und Gesundheit Graubünden, welches die Beschwerde am 5. Dezember 2011 abwies. Hiergegen führte der Betroffene Beschwerde beim Verwaltungsgericht des Kantons Graubünden, die mit Urteil vom 21. Februar 2012 ebenfalls abgewiesen wurde. C. Mit Eingabe vom 16. Mai 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons Graubünden vom 21. Februar 2012 sei aufzuheben und es sei von einem Widerruf der Daueraufenthaltsbewilligung EG/EFTA abzusehen. Das Amt für Polizeiwesen und Zivilrecht und das Departement für Justiz, Sicherheit und Gesundheit Graubünden schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Graubünden beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Migration beantragt - mit Postaufgabe vom 29. August 2012 und deshalb verspätet und unbeachtlich - die Abweisung der Beschwerde. Mit Verfügung vom 23. Mai 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.