Sachverhalt: A. Der aus dem Kosovo stammende X._ (geb. 1974) erhielt nach der Heirat mit der Schweizer Bürgerin Y._ (geb. 1948) im Jahre 2000 eine Aufenthaltsbewilligung. Seit dem 6. Oktober 2008 befindet er sich im Strafvollzug, nachdem ihn das Obergericht des Kantons Nidwalden am 19. Juni 2007 wegen sexueller Nötigung und Vergewaltigung zu 30 Monaten Zuchthaus verurteilt und das Bundesgericht am 22. August 2008 eine Beschwerde gegen dieses Urteil abgewiesen hatte (Verfahren 6B_332/2008). Das Amt für Migration und Personenstand des Kantons Bern widerrief am 27. März 2009 die Aufenthaltsbewilligung von X._ und ordnete seine - gemäss Art. 66 Abs. 3 AuG (SR 142.20) sofort vollstreckbare - Wegweisung an. Y._ und X._ fochten diesen Entscheid ohne Erfolg bei der Polizei- und Militärdirektion des Kantons Bern an. Darauf erhoben sie Beschwerde beim Verwaltungsgericht des Kantons Bern und ersuchten dieses um Gewährung der aufschiebenden Wirkung, damit X._ während des Verfahrens in der Schweiz bleiben dürfe. Das Verwaltungsgericht entzog der Beschwerde am 3. Dezember 2009 die aufschiebende Wirkung. B. Y._ und X._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. Dezember 2009, den zuletzt genannten Entscheid des Verwaltungsgerichts aufzuheben und die aufschiebende Wirkung des bei dieser Instanz erhobenen Rechtsmittels wiederherzustellen. Das Verwaltungsgericht sowie die Polizei- und Militärdirektion ersuchen um Abweisung der Beschwerde. Das Amt für Migration und Personenstand hat auf eine Stellungnahme zur Beschwerde verzichtet. C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat am 8. Dezember 2009 angeordnet, dass bis zum Entscheid über das beim Bundesgericht gestellte Gesuch um aufschiebende Wirkung alle Vollziehungsvorkehrungen zu unterbleiben haben. D. Die Beschwerdeführer haben noch vor Ergehen des angefochtenen Entscheids den Europäischen Gerichtshof für Menschenrechte ersucht, die Schweizer Regierung aufzufordern, von der Vollstreckung der Wegweisung abzusehen, bis über eine beim Gerichtshof noch einzulegende Beschwerde entschieden sei.