Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1974) erhielt nach der Heirat mit der Schweizer Bürgerin Y._ (geb. 1948) im Jahre 2000 eine Aufenthaltsbewilligung. Seit dem 6. Oktober 2008 befindet er sich im Strafvollzug, nachdem ihn das Obergericht des Kantons Nidwalden am 19. Juni 2007 wegen sexueller Nötigung und Vergewaltigung zu 30 Monaten Zuchthaus verurteilt und das Bundesgericht am 22. August 2008 eine Beschwerde gegen dieses Urteil abgewiesen hatte (Verfahren 6B_332/2008). Das Amt für Migration und Personenstand des Kantons Bern widerrief am 27. März 2009 die Aufenthaltsbewilligung von X._ und ordnete seine - gemäss Art. 66 Abs. 3 AuG (SR 142.20) sofort vollstreckbare - Wegweisung an. Y._ und X._ fochten diesen Entscheid ohne Erfolg bei der Polizei- und Militärdirektion des Kantons Bern an. Darauf erhoben sie Beschwerde beim Verwaltungsgericht des Kantons Bern und ersuchten dieses um Gewährung der aufschiebenden Wirkung, damit X._ während des Verfahrens in der Schweiz bleiben dürfe. Das Verwaltungsgericht entzog der Beschwerde am 3. Dezember 2009 die aufschiebende Wirkung.
B. Y._ und X._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. Dezember 2009, den zuletzt genannten Entscheid des Verwaltungsgerichts aufzuheben und die aufschiebende Wirkung des bei dieser Instanz erhobenen Rechtsmittels wiederherzustellen.
Das Verwaltungsgericht sowie die Polizei- und Militärdirektion ersuchen um Abweisung der Beschwerde. Das Amt für Migration und Personenstand hat auf eine Stellungnahme zur Beschwerde verzichtet.
C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat am 8. Dezember 2009 angeordnet, dass bis zum Entscheid über das beim Bundesgericht gestellte Gesuch um aufschiebende Wirkung alle Vollziehungsvorkehrungen zu unterbleiben haben.
D. Die Beschwerdeführer haben noch vor Ergehen des angefochtenen Entscheids den Europäischen Gerichtshof für Menschenrechte ersucht, die Schweizer Regierung aufzufordern, von der Vollstreckung der Wegweisung abzusehen, bis über eine beim Gerichtshof noch einzulegende Beschwerde entschieden sei.

Erwägungen:
1. 1.1 Entscheide über den Widerruf einer Aufenthaltsbewilligung eines Ausländers, der mit einer Schweizerin verheiratet ist, können beim Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden (vgl. <ref-law>; Urteile 2C_793/2008 vom 27. März 2009 E. 1 und 2C_100/2009 vom 19. Oktober 2009 E. 1.1). Dasselbe gilt für Zwischenentscheide über die aufschiebende Wirkung, die in einem solchen Verfahren ergehen (vgl. <ref-law> und Urteil 2C_483/2009 vom 18. September 2009 E. 2.2 mit Hinweisen).
1.2 Die Beschwerdeführer reichen dem Bundesgericht drei neue Aktenstücke ein, unter anderem Kopien zu den erwähnten Gesuchen beim Europäischen Gerichtshof für Menschenrechte, welche vom 1. Dezember 2009 datieren (vgl. lit. D des Sachverhalts). Es handelt sich dabei um neue Beweismittel, die gemäss <ref-law> ausser Acht zu bleiben haben (vgl. <ref-ruling> E. 2.2.1 S. 226 f. mit Hinweisen).
2. Der angefochtene Entscheid hat vorsorgliche Massnahmen im Sinne von <ref-law> zum Gegenstand (<ref-ruling> E. 1.5 S. 196 f.). Nach der genannten Bestimmung kann nur die Verletzung verfassungsmässiger Rechte geltend gemacht werden. Wie schon nach der früheren Rechtsprechung berücksichtigt das Bundesgericht, dass den kantonalen Behörden beim Entscheid über die Erteilung der aufschiebenden Wirkung ein erheblicher Spielraum zukommt. Es schreitet nur ein, wenn die Vorinstanz verfassungsmässige Rechte verletzt, namentlich wenn sie wesentliche Interessen ausser Acht lässt oder offensichtlich unrichtig gewichtet und damit willkürlich entscheidet (<ref-ruling> E. 3 S. 289; Urteil 2C_309/2008 vom 13. August 2008 E. 3.2; Thomas Merkli, Vorsorgliche Massnahmen und die aufschiebende Wirkung bei Beschwerden in öffentlich-rechtlichen Angelegenheiten und subsidiären Verfassungsbeschwerden, ZBl 109/2008 S. 431 f.).
3. Die Vorinstanz entzieht dem bei ihr erhobenen Rechtsmittel die aufschiebende Wirkung gestützt auf Art. 68 Abs. 4 und 5 des Gesetzes des Kantons Bern vom 23. Mai 1989 über die Verwaltungsrechtspflege (VRPG/BE). Nach dieser Norm ist ein Entzug der aufschiebenden Wirkung aus wichtigen Gründen zulässig, insbesondere wenn öffentliche Interessen den sofortigen Vollzug einer belastenden Verfügung erfordern. Wenn die Vorinstanz einen solchen wichtigen Grund in der Gefahr für die öffentliche Sicherheit und Ordnung erblickt, steht dies im Einklang mit Art. 66 Abs. 3 AuG. Danach kann die Wegweisung als sofort vollstreckbar erklärt werden, wenn die betroffene Person erheblich und wiederholt gegen die öffentliche Sicherheit und Ordnung verstossen hat oder diese gefährdet oder die innere oder die äussere Sicherheit gefährdet.
Die Beschwerdeführer stellen diese Beurteilungsgrundlage nicht in Frage, machen indessen geltend, die von der Vorinstanz vorgenommene Beurteilung des öffentlichen Interesses an der Fernhaltung von X._ und der entgegenstehenden privaten Interessen sei völlig falsch und damit willkürlich.
4. Nach dem angefochtenen Entscheid begründet die Verurteilung von X._ wegen sexueller Nötigung und Vergewaltigung ein erhebliches Interesse an seiner sofortigen Wegweisung. Dieser bestreitet zwar die ihm zur Last gelegten Taten und hat inzwischen eine Beschwerde beim Europäischen Gerichtshof für Menschenrechte eingereicht. Es ist jedoch nicht willkürlich, die genannte Verurteilung beim Entscheid über die Erteilung der aufschiebenden Wirkung zu berücksichtigen, da sie immerhin von zwei Rechtsmittelinstanzen - zuletzt durch den Entscheid des Bundesgerichts vom 22. August 2008 (6B_332/2008) - bestätigt worden und heute rechtskräftig ist. Es kommt hinzu, dass X._ weitere Delikte beging, die keineswegs alle Bagatellcharakter haben und nicht nur mit Bussen geahndet wurden. Zu erwähnen ist namentlich die Verurteilung des Amtsstatthalteramts Hochdorf vom 25. Oktober 2006 zu einem Monat Gefängnis bedingt und Fr. 1'500.-- Busse wegen fahrlässiger Körperverletzung, Verletzung der Verkehrsregeln und pflichtwidrigen Verhaltens nach Unfall. Unter diesen Umständen ist es keineswegs unhaltbar, ein öffentliches Interesse an einer sofortigen Wegweisung X._s zu bejahen. Die entgegenstehenden privaten Interessen, den Ausgang des Verfahrens in der Schweiz abwarten zu können, sind unter den Umständen des Falles von geringerem Gewicht. Sie werden namentlich dadurch relativiert, dass sich X._ bis zum Ergehen des angefochtenen Entscheids im Strafvollzug befand, keiner geregelten Arbeit nachging und vor Verbüssung der Freiheitsstrafe - seinen eigenen Bekundungen zufolge aus beruflichen Gründen - im Wesentlichen bloss eine Wochenendbeziehung mit seiner Ehefrau führte. Zudem hat er keine im Inland wohnhaften Kinder, mit denen er eine intensive Beziehung pflegt und für deren Unterhalt er aufzukommen hat. Es wurde auch nicht geltend gemacht, dass seine Ehefrau in irgendeiner Weise auf seine Anwesenheit angewiesen ist.
Die Einwände, welche die Beschwerdeführer gegen die Gewichtung ihrer privaten Interessen vorbringen, erschöpfen sich in appellatorischer Kritik und in der Darlegung ihrer eigenen Sichtweise. Ihre Rechtsschrift erfüllt in diesem Punkt die Begründungsanforderungen von <ref-law> nicht, weshalb auf ihr Rechtsmittel in diesem Umfang nicht einzutreten ist (vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287; <ref-ruling> E. 2.2 S. 246). Soweit sich die Beschwerdeführer auf Art. 8 EMRK berufen, übersehen sie, dass diese Garantie dem Ausländer kein Recht einräumt, trotz entgegenstehenden öffentlichen Interessen den Ausgang eines Rechtsmittelverfahrens in der Schweiz abwarten zu können (erwähntes Urteil 2C_483/2009 E. 4.2 in fine mit Hinweisen).
5. Die Beschwerde erweist sich demnach als unbegründet und ist abzuweisen, soweit überhaupt darauf einzutreten ist.
Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG).
Mit dem Entscheid in der Sache wird das auch im bundesgerichtlichen Verfahren gestellte Gesuch um Gewährung der aufschiebenden Wirkung gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Amt für Migration und Personenstand, der Polizei- und Militärdirektion und dem Verwaltungsgericht des Kantons Bern sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 29. Januar 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Merz