Sachverhalt: A. Der kosovarische Staatsangehörige X._ (geb. 1980) reiste am 23. April 1990 im Rahmen des Familiennachzugs in die Schweiz ein und erhielt zunächst die Aufenthaltsbewilligung. Am 28. Juli 2000 wurde ihm die Niederlassungsbewilligung erteilt und am 29. Mai 2006 heiratete er die - ebenfalls aus dem Kosovo stammende - Schweizer Staatsangehörige Y._ (geb. 1985). Die beiden der Ehe entsprossenen Töchter A._ (geb. 2007) und B._ (geb. 2009) verfügen ebenfalls über das Schweizer Bürgerrecht. X._ trat mehrfach strafrechtlich in Erscheinung. So hat er zwischen 2000 und 2010 folgende Verurteilungen wegen SVG-Delikten erwirkt: Strafbefehl des Einzelrichteramts des Kantons Zug vom 16. Dezember 2000 über eine Busse von Fr. 150.--, Strafmandat der Staatsanwaltschaft Uri vom 14. August 2002 über eine Busse von Fr. 1'000.--, Strafverfügung des Amtsstatthalteramtes Hochdorf vom 13. März 2006 über eine Geldbusse von Fr. 360.--, Strafverfügung des Amtsstatthalteramtes Luzern vom 31. Mai 2010 über eine Busse von Fr. 100.-- sowie Strafbefehl des Verhöramtes des Kantons Obwalden vom 20. Juli 2010 über eine Geldstrafe von 10 Tagessätzen à Fr. 70.-- sowie einer Busse von Fr. 800.--. Das Bezirksgericht Hinwil verurteilte X._ am 6. November 2008 wegen mehrfacher qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz (Art. 19 Ziff. 1 Abs. 3-5 i.V.m. Art. 19 Ziff. 2 lit. a und b sowie Art. 19a Ziff. 1) und wegen Vergehens gegen Art. 23 Abs. 1 al. 5 ANAG zu einer Freiheitsstrafe von fünf Jahren. Das Obergericht des Kantons Zürich bestätigte mit Urteil vom 27. Januar 2010 den erstinstanzlichen Schuldspruch und legte die Freiheitsstrafe auf vier Jahre und sechs Monate fest. Eine dagegen erhobene Beschwerde wies das Bundesgericht mit Urteil 6B_268/2010 vom 28. Juni 2010 ab, soweit es darauf eintrat. Seit dem 27. September 2010 befindet sich X._ im Strafvollzug. B. Nach Gewährung des rechtlichen Gehörs widerrief das Amt für Arbeit und Migration des Kantons Uri mit Verfügung vom 24. Januar 2011 die Niederlassungsbewilligung von X._ per sofort und wies diesen auf Ende des Strafvollzugs aus der Schweiz und dem Schengenraum weg. Eine dagegen erhobene Einsprache wies das Amt für Arbeit und Migration mit Entscheid vom 9. August 2011 ab und bestätigte die Verfügung vom 24. Januar 2011. Das Obergericht des Kantons Uri wies eine dagegen erhobene Beschwerde mit Urteil vom 4. November 2011 ab, soweit es darauf eintrat. C. Mit Eingabe vom 14. Dezember 2011 führen X._, seine Ehefrau und seine beiden Töchter Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen die Aufhebung des Urteils des Obergerichts des Kantons Uri vom 4. November 2011 sowie des Einspracheentscheides vom 9. August 2011 bzw. der Verfügung vom 24. Januar 2011 des Amtes für Arbeit und Migration. Weiter sei die Niederlassungsbewilligung des Beschwerdeführers 1 nicht zu widerrufen, von seiner Wegweisung sei abzusehen und er sei unter Androhung des Widerrufs der Niederlassungsbewilligung zu verwarnen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen. D. Das Obergericht und das Amt für Arbeit und Migration verzichten auf eine Stellungnahme. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. Mit Verfügung vom 4. Januar 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.