Sachverhalt: A. Der aus dem Kosovo stammende X._ (geb. 1957) hielt sich zwischen 1986 und 1996 als Saisonnier in der Schweiz auf. Seit März 1996 lebt er - zunächst mit einer Aufenthalts- und seit Oktober 2002 mit einer Niederlassungsbewilligung - ununterbrochen in der Schweiz. Wegen gesundheitlicher Probleme verlor er im Jahr 2000 seine Anstellung als Hilfsmaler. Seit Februar 2000 erhält er Sozialhilfeleistungen. Zwei Verfahren um Ausrichtung einer Invalidenrente blieben erfolglos, ein drittes ist seit April 2008 hängig. Im Rahmen des Familiennachzugs reisten im Mai 2003 die Ehefrau Y._ (geb. 1959) und der gemeinsame jüngste Sohn A._ (geb. 1987) in die Schweiz ein. Im Zusammenhang mit der Verlängerung der Aufenthaltsbewilligung der Ehefrau kündigte die Einwohnergemeinde Thun den Eheleuten X._ und Y._ im März 2006 und April 2007 fremdenpolizeiliche Massnahmen an, sofern sich ihre finanzielle Situation nicht bessern würde. Die Aufenthaltsbewilligung der Ehefrau wurde zuletzt bis zum 31. Januar 2008 verlängert. Am 8. April 2008 widerrief die Einwohnergemeinde Thun die Niederlassungsbewilligung von X._ wegen Fürsorgeabhängigkeit und stellte fest, dass die Aufenthaltsbewilligung von Y._ infolge Ablaufs der Gültigkeitsdauer erloschen sei. Gleichzeitig wies sie die Eheleute X._ und Y._ unter Ansetzung einer Ausreisefrist aus der Schweiz weg. Die von den Eheleuten X._ und Y._ dagegen zunächst bei der Polizei- und Militärdirektion und sodann beim Verwaltungsgericht des Kantons Bern erhobenen Rechtsmittel blieben erfolglos. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. Januar 2010 beantragen die Eheleute X._ und Y._ dem Bundesgericht, den in dieser Sache im Kanton zuletzt ergangenen Entscheid des Verwaltungsgerichts vom 14. Dezember 2009 aufzuheben, dem Ehemann die Niederlassungsbewilligung weiterhin zu "erteilen" und die Aufenthaltsbewilligung der Ehefrau zu erneuern. Die Einwohnergemeinde Thun, die kantonale Polizei- und Militärdirektion, das Verwaltungsgericht sowie das Bundesamt für Migration stellen den Antrag, die Beschwerde abzuweisen. C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 29. Januar 2010 hinsichtlich der mit dem angefochtenen Entscheid verbundenen Ausreiseverpflichtung die aufschiebende Wirkung zuerkannt.