Sachverhalt: A. Die serbische Staatsangehörige Y._ (geb. 1981) heiratete im Januar 1998 in ihrer Heimat den im Kanton St. Gallen niedergelassenen Landsmann V._, worauf ihr im Februar 1998 eine Aufenthaltsbewilligung zum Verbleib beim Ehemann erteilt wurde. Aus dieser Ehe stammt die im Januar 1999 geborene Tochter AV._. Nachdem sich die Eheleute im Oktober 2002 getrennt hatten, wurde Y._ mit Verfügung vom 25. März 2003 die Verlängerung der Aufenthaltsbewilligung verweigert und aufgefordert, bis Ende Mai 2003 auszureisen. Im Jahr 2004 wurde die Ehe geschieden und die Tochter AV._ der Mutter zugesprochen. Im Februar 2005 heiratete Y._ den ebenfalls in der Schweiz niedergelassenen Landsmann W._, worauf ihr und ihrer Tochter AV._ im Rahmen des Familiennachzugs eine Aufenthaltsbewilligung für den Kanton Graubünden erteilt wurde. Aus dieser Ehe ging die im Juli 2006 geborene Tochter BW._ hervor. Wegen Trennung der Eheleute lehnte die Fremdenpolizei Graubünden am 22. Februar 2007 die Erneuerung der zuletzt bis zum 31. Dezember 2006 verlängerten Aufenthaltsbewilligung ab und forderte Y._ und ihre Tochter AV._ auf, bis Ende März 2007 auszureisen. Die Ausreise verzögerte sich bis Juli 2007, unter anderem weil sich Y._ mehrere Monate in stationärer psychiatrischer Behandlung befand. Im Mai 2007 hatte Y._ zudem erklärt, sie erwarte vom Schweizer Bürger X._ (geb. 1959) ein Kind und beabsichtige, ihn zu heiraten. Am 25. Juni 2007 wurde die Ehe mit W._ geschieden und die daraus stammende Tochter BW._ der Mutter zugesprochen. B. Im November 2007 gebar Y._ in der Schweiz, wohin sie kurz vorher mit einem Visum zurückgekehrt war, die Tochter CX._, deren Vater X._ ist. Im Februar 2008 kehrte sie ohne die Tochter CX._, die sie beim Vater und der Grossmutter zurückliess, nach Serbien zurück. Dort schlossen X._ und Y._ im März 2008 die Ehe. Im Dezember 2008 reiste Letztere ohne die Kinder AV._ und BW._ wieder in die Schweiz ein. Im Februar 2009 reichten die Eheleute X._ und Y._ ein Familiennachzugsgesuch für Y._ und ihre Töchter AV._ und BW._ ein. Am 1. April 2009 setzte Y._ das Wohnzimmer der ehelichen Mietwohnung in Brand, wobei hoher Sachschaden am Gebäude entstand. Gleichentags wurde sie wegen Drittgefährdung im Rahmen einer fürsorgerischen Freiheitsentziehung in eine Psychiatrische Klinik eingewiesen. Das Bezirksgericht Imboden verurteilte sie am 13. Oktober 2009 wegen der am 1. April 2009 begangenen Brandstiftung zu einer Freiheitsstrafe von einem Jahr. Der Vollzug der Freiheitsstrafe wurde aufgeschoben und über Y._ wegen ihrer psychisch schweren Störung eine stationäre Behandlung gemäss Art. 59 StGB angeordnet. Mit Verfügung vom 3. Februar 2010 lehnte das Amt für Polizeiwesen und Zivilrecht Graubünden die Bewilligung des Familiennachzugs für Y._ sowie für ihre Töchter AV._ und BW._ ab. Gleichzeitig wies es die Kindsmutter auf das Ende der stationären Massnahme aus der Schweiz weg. Zur Begründung führte es aus, es bestünde mit Blick auf die Einkommens- und Vermögensverhältnisse der Eheleute ein erhebliches Fürsorgerisiko. Angesichts der Umstände, die zur Brandstiftung führten, gehe von Y._ zudem eine Gefahr für die öffentliche Sicherheit und Ordnung aus. Die von den Eheleuten X._ und Y._ dagegen im Kanton erhobenen Rechtsmittel blieben erfolglos. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 25. Januar 2011 beantragen die Eheleute X._ und Y._ dem Bundesgericht sinngemäss, das in dieser Sache kantonal zuletzt ergangene Urteil des Verwaltungsgerichts des Kantons Graubünden vom 11. Oktober 2010 aufzuheben und Y._ sowie ihren beiden Töchtern AV._ und BW._ eine Aufenthaltsbewilligung zu erteilen. Das Departement für Justiz, Sicherheit und Gesundheit Graubünden sowie - mit Postaufgabe vom 10. Mai 2011 und deshalb verspätet und unbeachtlich - das Bundesamt für Migration beantragen die Abweisung der Beschwerde. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Amt für Polizeiwesen und Zivilrecht Graubünden hat sich nicht vernehmen lassen. D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 28. Januar 2011 antragsgemäss die aufschiebende Wirkung hinsichtlich der Y._ treffenden Ausreiseverpflichtung zuerkannt.