Sachverhalt:
A. Die serbische Staatsangehörige Y._ (geb. 1981) heiratete im Januar 1998 in ihrer Heimat den im Kanton St. Gallen niedergelassenen Landsmann V._, worauf ihr im Februar 1998 eine Aufenthaltsbewilligung zum Verbleib beim Ehemann erteilt wurde. Aus dieser Ehe stammt die im Januar 1999 geborene Tochter AV._. Nachdem sich die Eheleute im Oktober 2002 getrennt hatten, wurde Y._ mit Verfügung vom 25. März 2003 die Verlängerung der Aufenthaltsbewilligung verweigert und aufgefordert, bis Ende Mai 2003 auszureisen. Im Jahr 2004 wurde die Ehe geschieden und die Tochter AV._ der Mutter zugesprochen.
Im Februar 2005 heiratete Y._ den ebenfalls in der Schweiz niedergelassenen Landsmann W._, worauf ihr und ihrer Tochter AV._ im Rahmen des Familiennachzugs eine Aufenthaltsbewilligung für den Kanton Graubünden erteilt wurde. Aus dieser Ehe ging die im Juli 2006 geborene Tochter BW._ hervor. Wegen Trennung der Eheleute lehnte die Fremdenpolizei Graubünden am 22. Februar 2007 die Erneuerung der zuletzt bis zum 31. Dezember 2006 verlängerten Aufenthaltsbewilligung ab und forderte Y._ und ihre Tochter AV._ auf, bis Ende März 2007 auszureisen. Die Ausreise verzögerte sich bis Juli 2007, unter anderem weil sich Y._ mehrere Monate in stationärer psychiatrischer Behandlung befand. Im Mai 2007 hatte Y._ zudem erklärt, sie erwarte vom Schweizer Bürger X._ (geb. 1959) ein Kind und beabsichtige, ihn zu heiraten. Am 25. Juni 2007 wurde die Ehe mit W._ geschieden und die daraus stammende Tochter BW._ der Mutter zugesprochen.
B. Im November 2007 gebar Y._ in der Schweiz, wohin sie kurz vorher mit einem Visum zurückgekehrt war, die Tochter CX._, deren Vater X._ ist. Im Februar 2008 kehrte sie ohne die Tochter CX._, die sie beim Vater und der Grossmutter zurückliess, nach Serbien zurück. Dort schlossen X._ und Y._ im März 2008 die Ehe. Im Dezember 2008 reiste Letztere ohne die Kinder AV._ und BW._ wieder in die Schweiz ein. Im Februar 2009 reichten die Eheleute X._ und Y._ ein Familiennachzugsgesuch für Y._ und ihre Töchter AV._ und BW._ ein. Am 1. April 2009 setzte Y._ das Wohnzimmer der ehelichen Mietwohnung in Brand, wobei hoher Sachschaden am Gebäude entstand. Gleichentags wurde sie wegen Drittgefährdung im Rahmen einer fürsorgerischen Freiheitsentziehung in eine Psychiatrische Klinik eingewiesen. Das Bezirksgericht Imboden verurteilte sie am 13. Oktober 2009 wegen der am 1. April 2009 begangenen Brandstiftung zu einer Freiheitsstrafe von einem Jahr. Der Vollzug der Freiheitsstrafe wurde aufgeschoben und über Y._ wegen ihrer psychisch schweren Störung eine stationäre Behandlung gemäss Art. 59 StGB angeordnet.
Mit Verfügung vom 3. Februar 2010 lehnte das Amt für Polizeiwesen und Zivilrecht Graubünden die Bewilligung des Familiennachzugs für Y._ sowie für ihre Töchter AV._ und BW._ ab. Gleichzeitig wies es die Kindsmutter auf das Ende der stationären Massnahme aus der Schweiz weg. Zur Begründung führte es aus, es bestünde mit Blick auf die Einkommens- und Vermögensverhältnisse der Eheleute ein erhebliches Fürsorgerisiko. Angesichts der Umstände, die zur Brandstiftung führten, gehe von Y._ zudem eine Gefahr für die öffentliche Sicherheit und Ordnung aus. Die von den Eheleuten X._ und Y._ dagegen im Kanton erhobenen Rechtsmittel blieben erfolglos.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 25. Januar 2011 beantragen die Eheleute X._ und Y._ dem Bundesgericht sinngemäss, das in dieser Sache kantonal zuletzt ergangene Urteil des Verwaltungsgerichts des Kantons Graubünden vom 11. Oktober 2010 aufzuheben und Y._ sowie ihren beiden Töchtern AV._ und BW._ eine Aufenthaltsbewilligung zu erteilen.
Das Departement für Justiz, Sicherheit und Gesundheit Graubünden sowie - mit Postaufgabe vom 10. Mai 2011 und deshalb verspätet und unbeachtlich - das Bundesamt für Migration beantragen die Abweisung der Beschwerde. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Amt für Polizeiwesen und Zivilrecht Graubünden hat sich nicht vernehmen lassen.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 28. Januar 2011 antragsgemäss die aufschiebende Wirkung hinsichtlich der Y._ treffenden Ausreiseverpflichtung zuerkannt.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist mit Blick auf Art. 83 lit. c Ziff. 2 BGG nur soweit zulässig, als die Beschwerdeführer einen Anspruch auf die erwünschten Bewilligungen haben. Eine Anspruchssituation nach Art. 42 Abs. 2 AuG (SR 142.20) ist nicht gegeben, da die nachzuziehenden Personen nicht im Besitz einer dauerhaften Aufenthaltsbewilligung eines Staates sind, mit dem ein Freizügigkeitsabkommen abgeschlossen wurde. Die Beschwerdeführer weisen aber zu Recht darauf hin, dass für die ausländische Ehefrau eines Schweizer Bürgers grundsätzlich ein Bewilligungsanspruch nach Art. 42 Abs. 1 AuG besteht, weshalb auf die Beschwerde hinsichtlich der Beschwerdeführerin einzutreten ist. Dazu, wie es sich mit den Kindern AV._ und BW._ verhält, die weder vom Schweizer Ehemann stammen noch adoptiert wurden und für die deshalb eine Berufung auf Art. 42 Abs. 1 AuG nicht in Betracht kommt (vgl. BGE 2C_711/2010 vom 1. April 2011 E. 1.2; Urteil 2C_537/2009 vom 31. März 2010 E. 2.2.2), äussern sich die Beschwerdeführer mit keinem Wort. Gemäss den Sachverhaltsfeststellungen im angefochtenen Entscheid käme nach der bisherigen bundesgerichtlichen Praxis vorderhand nur ein von ihrer Mutter abgeleiteter Anspruch in Frage. Denn die Niederlassungsbewilligungen, über welche diese Kinder nach ihrer Geburt kraft des Aufenthaltsrechtes ihrer leiblichen Väter verfügten, sind gemäss Art. 61 AuG längst erloschen. Die Beschwerdeführer behaupten auch nicht, die Kinder pflegten eine intensive Beziehung zu ihren in der Schweiz niedergelassenen Vätern, die sie vom Ausland aus nicht mehr aufrechterhalten könnten. Dem Dargelegten zufolge ist auf die Beschwerde bezüglich der Kinder AV._ und BW._ nicht einzutreten, falls die Mutter keine Bewilligung erhält (vgl. BGE 135 II 1 E. 1.3 in fine S. 5.).
2. Gemäss Art. 42 Abs. 1 AuG haben ausländische Ehegatten von Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie zusammenwohnen. Art. 51 Abs. 1 lit. b AuG zufolge erlischt dieser Anspruch, wenn Widerrufsgründe nach Art. 63 AuG vorliegen.
3. 3.1 Das kantonale Departement sowie das Verwaltungsgericht gehen davon aus, dass der Widerrufsgrund des Art. 63 Abs. 1 lit. c AuG erfüllt ist. Danach kann ein Bewilligungswiderruf erfolgen, wenn der Ausländer oder eine Person, für die er zu sorgen hat, dauerhaft und in erheblichem Mass auf Sozialhilfe angewiesen ist (vgl. Urteile des Bundesgerichts 2C_268/2011 vom 22. Juli 2011 E. 6.2; 2C_74/2010 vom 10. Juni 2010 E. 3.4; 2C_130/2010 vom 25. Juni 2010 E. 3.1; 2C_672/ 2008 vom 9. April 2009 E. 2.2 und 3; noch zum früheren Recht, Art. 10 Abs. 1 lit. d ANAG [BS 1 121, AS 1949 I 221 227]: BGE 125 II 633 E. 3c S. 641; 123 II 529).
Insoweit stellt die Vorinstanz fest, die Beschwerdeführerin habe bisher Sozialhilfe in der Höhe von Fr. 18'575.-- bezogen. Der Ehemann schulde zudem der Gemeinde Fr. 72'310.-- unter anderem für bezogene Sozialhilfeleistungen sowie bevorschusste Unterhaltszahlungen. Ausserdem lägen bei ihm Betreibungen in der Höhe von Fr. 437'283.-- und Verlustscheine in der Höhe von Fr. 189'111.-- vor. Bis auf Weiteres sei das Einkommen des Ehemannes die einzige Einkommensquelle. Es unterliege aber einer Lohnpfändung von monatlich Fr. 2'786.-- zur Weiterleitung an die Kinder, die er in einer vorangegangenen Ehe gezeugt hatte, und an deren Mutter. Damit habe er keine Möglichkeit, ausserhalb dieses Betreibungsverfahrens weitere Schulden zu tilgen. Bei Zugrundelegung eines monatlichen Gesamtbedarfs von Fr. 8'249.-- und des Nettolohnes des Ehemannes von Fr. 5'893.-- ergebe sich vorliegend ein monatlicher Fehlbetrag von Fr. 2'356.--. Der Unterhalt, welcher der Beschwerdeführerin für ihre Kinder aus den vorangegangenen Ehen zustünde, könne nicht berücksichtigt werden, da bisher keinerlei Angaben über deren Zahlung bestünden. Die Bestätigung über ihre Einstellung als Zimmermädchen lege nahe, dass sie durch ihr Einkommen die finanzielle Situation nicht derart verbessern könnte, dass nicht mehr von einem Fehlbetrag auszugehen wäre.
3.2 Die Beschwerdeführer machen geltend, der Lohn des Ehemannes sei zwar gepfändet worden, er komme aber mit dem Existenzminimum aus. Auch in Zukunft werde er keine Sozialhilfe beanspruchen, da er eine Arbeitsstelle gefunden habe, bei welcher er einen "guten" Lohn erziele. Der Sozialhilfebezug der Beschwerdeführerin liege bereits drei Jahre zurück. Zudem habe sie eine Bescheinigung vorgelegt, aus welcher sich ergebe, dass sie nach Entlassung aus der Klinik als Zimmermädchen werde arbeiten können, wodurch sich das eheliche Einkommen "spürbar" erhöhen würde. Ausserdem würden sie für die Kinder AV._ und BW._ Kinderzulagen und bei den Vätern die monatlich festgelegten Unterhaltsbeiträge von Euro 100.-- sowie Fr. 400.-- geltend machen können. Die Vorinstanz gehe zu Unrecht davon aus, dass sich die finanzielle Situation der Beschwerdeführer dadurch nicht verbessern würde.
3.3 Mit dieser Kritik wiederholen die Beschwerdeführer im Wesentlichen das, was sie bereits gegenüber der Vorinstanz vorgebracht haben. Sie zeigen jedoch nicht auf, warum der Schluss der Vorinstanz, das allfällige Einkommen bei einer Teilzeitbeschäftigung als Zimmermädchen verhindere die erhebliche Inanspruchnahme von Sozialhilfe nicht, unzutreffend sein soll. Immerhin geht es um einen monatlichen Fehlbetrag von über Fr. 2'300.--. Zudem legen die Beschwerdeführer nicht dar, wie die Betreuung der drei Kinder während ihrer Berufstätigkeit sichergestellt werden soll. Allenfalls würden zusätzliche Kosten für die Fremdbetreuung anfallen. Auch der Hinweis auf die Unterhaltsansprüche für AV._ und BW._ verfängt nicht, nachdem die Kindsmutter diesbezüglich bisher offenbar untätig geblieben ist und denn auch keine entsprechenden Zahlungseingänge zu verzeichnen sind. Unter anderem fehlen jegliche Angaben der Beschwerdeführer, ob die entsprechenden Beträge überhaupt einträglich gemacht werden könnten und was sie diesbezüglich unternommen haben. Schliesslich könnten auch die Kinderzulagen den Fehlbetrag beim Erwerbseinkommen bei Weitem nicht ausgleichen.
Demnach hat die Vorinstanz den Widerrufsgrund des Art. 63 Abs. 1 lit. c AuG zu Recht als erfüllt betrachtet. Insoweit spielt - entgegen der Ansicht der Beschwerdeführer - keine Rolle, ob sie ein Verschulden an der Sozialhilfebedürftigkeit trifft. Das spielt erst im Rahmen der vorzunehmenden Verhältnismässigkeitsprüfung eine Rolle (vgl. erwähntes Urteil 2C_74/2010 E. 3.4 in fine).
4. Darüber hinaus stellt das Verwaltungsgericht auf das deliktische Verhalten und die Verurteilung der Beschwerdeführerin wegen Brandstiftung ab. Gemäss einem Führungs- und Therapiebericht vom 16. Juli 2010 besteht weiterhin ein mittelhohes Rückfallrisiko bei der Beschwerdeführerin, da wenig Krankheitseinsicht und Einsicht in die konflikthafte Beziehungsgestaltung gegeben sei. In der Beziehung zum Ehemann würden sich grosse Schwierigkeiten und Konflikte zeigen, welche die nötige Stabilität im ausserstationären Rahmen nicht gewährleisten könnten. Zur Durchsetzung ihrer Wünsche habe die Beschwerdeführerin erneut ein (kleines) Feuer entfacht. Dementsprechend hatte das Amt für Justizvollzug eine bedingte Entlassung verweigert. Dem Verwaltungsgericht zufolge spreche das Interesse an der Wahrung der öffentlichen Sicherheit und Ordnung in dieser Hinsicht ebenfalls in erheblichem Masse gegen den Aufenthalt der Beschwerdeführerin in der Schweiz.
Unbehelflich erweisen sich die Einwände der Beschwerdeführer, der Therapiebericht sei als Parteigutachten zu werten und das Rückfallrisiko beruhe auf Spekulationen. Tatsache ist, dass die Beschwerdeführerin bereits mindestens zweimal Brände gelegt hat und sie wiederholt wegen psychischer Probleme behandelt wurde. Der blosse Hinweis darauf, dass es sich bei der Klinik, in welcher sich die Beschwerdeführerin befindet, um eine "kantonale Institution" handelt, genügt nicht, um den erwähnten Therapiebericht als unzuverlässig erscheinen zu lassen. Dementsprechend ist auch der Antrag der Beschwerdeführer auf Einholung einer unabhängigen Expertise zur Rückfallgefahr zurückzuweisen.
Soweit die Beschwerdeführer geltend machen, die Ehefrau werde nach ihrer Entlassung aus der Klinik keine ernst zu nehmende Gefahr für die öffentliche Sicherheit mehr darstellen, kann dem nicht gefolgt werden. Die Entlassung nach Art. 62 StGB aus einer stationären Massnahme erfolgt immer nur bedingt, weil es schwierig ist, das künftige Wohlverhalten hinreichend verlässlich zu prognostizieren (vgl. Stratenwerth/Wohlers, Schweizerisches Strafgesetzbuch, 2. Aufl. 2009, N. 1 zu Art. 62 StGB). Es kann somit nicht bereits geschlossen werden, es gehe bei einer Entlassung keine Gefahr mehr von der betreffenden Person aus. Zudem ist denkbar, dass eine stationäre therapeutische Massnahme mangels Therapierbarkeit der Beschwerdeführerin aufgehoben und eine Verwahrung mangels qualifizierter Wahrscheinlichkeit einer Gefährdung nicht angeordnet wird, aber weiterhin eine Gefährdung besteht (s. Näheres in BGE 137 II 233 E. 5.2 S. 235 ff. mit Hinweisen).
Dem Dargelegten zufolge erfüllt die Beschwerdeführerin auch den Widerrufsgrund des Art. 63 Abs. 1 lit. b AuG, welcher gegeben ist, wenn ein Ausländer in schwerwiegender Weise gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat oder die innere oder die äussere Sicherheit gefährdet (s. Näheres in BGE 137 II 297 E. 3 S. 302 ff.). Die vorsätzliche Brandstiftung sowie die reelle Gefahr, dass ein solches Delikt erneut begangen wird, ist mit Blick auf die bedrohten Rechtsgüter als "schwerwiegend" zu qualifizieren. Zwar hat die Vorinstanz diesen Widerrufsgrund nicht explizit genannt. Sie hat jedoch sämtliche Umstände, die ihn begründen, aufgeführt und ihren Entscheid ebenfalls hierauf gestützt. Bereits das Amt für Polizeiwesen und Zivilrecht Graubünden hatte sich in seinem Entscheid vom 3. Februar 2010 auf die von der Beschwerdeführerin ausgehende Gefahr für die öffentliche Sicherheit und Ordnung berufen. Da das Bundesgericht das Recht gemäss Art. 106 Abs. 1 BGG von Amtes wegen anwendet, ist die Feststellung, dass auch der letztgenannte Widerrufsgrund erfüllt ist, zulässig.
5. Die Beschwerdeführer machen geltend, der Anspruch auf Familienzusammenführung gehe bei Angehörigen von Staaten der Europäischen Union (EU) nicht deshalb unter, weil der Nachzug zur Sozialhilfeabhängigkeit führen könne. Das gelte auch, wenn die Familienangehörigen aus einem der EU nicht beigetretenen Staat nachgezogen werden. Art. 8 und 14 BV sowie Art. 8 EMRK würden verletzt, wenn in Bezug auf den Beschwerdeführer als Schweizer Bürger eine strengere Handhabung gelten würde. Als Inländer könne er eine rechtsgleiche Behandlung verlangen.
Es braucht nicht näher auf diese Rüge eingegangen zu werden, da die Beschwerdeführerin auch den Widerrufsgrund des Art. 63 Abs. 1 lit. b AuG erfüllt. Denn selbst wenn ein EU-Bürger betroffen wäre, könnte ein Nachzug von Familienangehörigen aus Gründen der öffentlichen Sicherheit oder Ordnung verweigert werden, sofern von Letzteren eine tatsächliche und hinreichend schwere Gefährdung anerkannter Rechtsgüter ausgeht (vgl. BGE 136 II 5 E. 4 S. 19 ff.; 130 II 176 E. 3.3 und 3.4 S. 181 ff. mit Hinweisen). Wie ausgeführt (s. E. 4 hievor), ist das vorliegend der Fall.
6. Die Verweigerung der begehrten Bewilligungen muss namentlich mit Blick auf den Schutz des Familienlebens nach Art. 8 EMRK und Art. 13 BV verhältnismässig sein.
6.1 Wohl ist den Beschwerdeführern kein erhebliches Verschulden an der Fürsorgebedürftigkeit vorzuwerfen. Hingegen wiegt die Gefährdung der öffentlichen Sicherheit und Ordnung, welche von der Beschwerdeführerin auch noch aktuell ausgeht, besonders schwer (dazu E. 4 hievor). Durch Brandstiftung werden nicht nur Vermögensgüter, sondern auch Leib und Leben anderer Personen gefährdet. Insoweit besteht ein erhebliches Interesse an der Fernhaltung der Beschwerdeführerin.
6.2 Wird der Beschwerdeführerin sowie den Kindern AV._ und BW._ die Einreise bzw. die Aufenthaltsbewilligung verweigert, müsste die Familie entweder ein getrenntes Leben an verschiedenen Wohnorten in Kauf nehmen oder aber der Schweizer Ehemann mit der jüngsten Tochter CX._, die ebenfalls Schweizer Bürgerin ist, zur restlichen Familie ins Ausland ziehen. Zwar haben die Beschwerdeführerin und ihre beiden älteren Kinder bereits zeitweise - auch rechtmässig - in der Schweiz gelebt. Sie haben aber zuletzt über keinen Aufenthaltstitel für die Schweiz mehr verfügt. Wegen den stationären Aufenthalten der Mutter in psychiatrischen Einrichtungen waren sie in der Schweiz zeitweise fremdbetreut worden. Die Beschwerdeführerin reiste ohne entsprechende Bewilligung und ohne ihre Kinder im Dezember 2008 wieder in die Schweiz ein, wo sie seither aufgrund des laufenden Verfahrens bloss geduldet wird und sich seit April 2009 infolge von Massnahmen nach Art. 59 StGB wegen der von ihr begangenen Brandstiftungen in einer Klinik aufhält. Zuvor - zwischen Februar und Dezember 2008 - hatte sie eine rund zehnmonatige Trennung von ihrer damals noch nicht einmal einjährigen Tochter CX._ hingenommen. Diese hatte sie anlässlich ihrer Ausreise Anfang Februar 2008 in der Schweiz zurückgelassen. Im Übrigen hat sie den grössten Teil ihres Lebens in ihrer Heimat verbracht, wo sie auch die Schulen besuchte. Anlässlich ihrer Eheschliessung konnten die Beschwerdeführer aufgrund ihrer finanziellen Situation nicht ohne weiteres damit rechnen, dass sie ihre Ehe in der Schweiz würden leben können. Die Beschwerdeführer haben einen Verbleib in Serbien wohl auch erwogen. Namentlich reiste der Ehemann dorthin, um die Ehe zu schliessen und einige Zeit mit der Beschwerdeführerin zusammenzuleben. Obwohl sie im März 2008 heirateten, stellten sie erst im Februar 2009 das Nachzugsgesuch für die Schweiz.
Der Einwand, im Falle eines Wegzugs des Beschwerdeführers nach Serbien könnte dieser seine Gläubiger nicht mehr bedienen, verfängt nicht. Bei der Bewilligung des Nachzugs wäre ihm eine Schuldentilgung auch nicht möglich, da die Familie auf Fürsorge angewiesen wäre. Zudem hat der Beschwerdeführer nicht dargelegt, dass und inwiefern er bisher entsprechende Vorkehren getroffen hatte. Der Hinweis darauf, dass dann auch seine Kinder aus seiner ersten Ehe und deren Mutter vom Staat unterstützt werden müssten, ist ebenso wenig entscheidend, nachdem dieser bereits entsprechende Unterhaltsvorschüsse leisten musste, weil der Beschwerdeführer keine Zahlungen geleistet hatte und hernach betrieben werden musste. Inwiefern der Beschwerdeführer Kontakte zu diesen Kindern pflegt, die er von Serbien aus nicht mehr aufrechterhalten könnte, hat er nicht näher dargelegt.
6.3 Die Beschwerdeführer nehmen Bezug auf den in BGE 135 I 143 publizierten Entscheid des Bundesgerichts. Dabei geht es um den Aufenthaltsanspruch einer ausländischen Mutter gestützt auf die Beziehung zu ihrem schweizerischen Kind. Die Beschwerdeführer übersehen aber, dass ein solcher Anspruch entfällt, wenn - wie hier - Beeinträchtigungen der öffentlichen Ordnung und Sicherheit von einer gewissen Schwere gegeben sind (vgl. BGE 135 I 143 E. 4.4 S. 152 f.; 153 E. 2.2.4 und 2.3 S. 158 f.; 136 I 285 E. 5 S. 287 ff.; 137 I 247 E. 4 und 5 S. 249 ff. mit Hinweisen). Zudem hatte die Beschwerdeführerin ihre Schweizer Tochter CX._ freiwillig mehrere Monate in der Schweiz gelassen und von ihr getrennt gelebt, so dass fraglich ist, inwiefern hier überhaupt eine intakte und damit schützenswerte Beziehung besteht.
6.4 Bei einer Gesamtbetrachtung ist der Schluss des Verwaltungsgerichts, wonach die Interessen an der Fernhaltung der Beschwerdeführerin diejenigen an ihrem Verbleib überwiegen, weshalb die Verweigerung der für sie begehrten Bewilligung zu schützen sei, nicht zu beanstanden.
7. Dem Dargelegten zufolge erweist sich die Beschwerde als unbegründet und ist daher abzuweisen, soweit auf sie einzutreten ist.
Diesem Ausgang entsprechend haben die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Graubünden, 1. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 8. Dezember 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz