Sachverhalt:
A. Der aus dem Kosovo stammende Y._ (geb. 1974) erhielt nach der Heirat mit der Schweizer Bürgerin X._ (geb. 1948) im Jahre 2000 eine Aufenthaltsbewilligung. Zwischen dem 6. Oktober 2008 und dem 7. Dezember 2009 befand er sich im Strafvollzug, nachdem ihn das Obergericht des Kantons Nidwalden am 19. Juni 2007 wegen sexueller Nötigung und Vergewaltigung zu 30 Monaten Freiheitsstrafe verurteilt und das Bundesgericht am 22. August 2008 eine Beschwerde gegen dieses Urteil abgewiesen hatte (Verfahren 6B_332/2008). Gegen das bundesgerichtliche Urteil gelangte Y._ mit Beschwerde vom 6. Oktober 2008 an den Europäischen Gerichtshof für Menschenrechte (EGMR).
B. Das Amt für Migration und Personenstand des Kantons Bern widerrief am 27. März 2009 die Aufenthaltsbewilligung von Y._ und ordnete seine - gemäss Art. 66 Abs. 3 AuG sofort vollstreckbare - Wegweisung an. X._ und Y._ fochten diesen Entscheid ohne Erfolg bei der Polizei- und Militärdirektion des Kantons Bern an. Darauf erhoben sie am 5. Oktober 2009 Beschwerde beim Verwaltungsgericht des Kantons Bern und ersuchten dieses um Gewährung der aufschiebenden Wirkung, damit Y._ während des Verfahrens in der Schweiz bleiben dürfe. Mit Verfügung vom 3. Dezember 2009 entzog das Verwaltungsgericht der Beschwerde die aufschiebende Wirkung; die gegen diesen Zwischenentscheid erhobene Beschwerde wies das Bundesgericht mit Urteil 2C_803/2009 vom 29. Januar 2010 ab, soweit es darauf eintrat. Am 2. Februar 2010 hat Y._ die Schweiz verlassen. Mit Urteil vom 26. August 2010 wies das Verwaltungsgericht des Kantons Bern die Beschwerde in der Sache ab.
C. X._ und Y._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. September 2010, den Entscheid des Verwaltungsgerichts aufzuheben und die Aufenthaltsbewilligung von Y._ um ein Jahr zu verlängern bzw. die Angelegenheit zur Neuprüfung an die Vorinstanz zurückzuweisen. Sie rügen die Verletzung von Art. 41 (recte: 42) AuG sowie Art. 8 EMRK.
D. Das Verwaltungsgericht und die Polizei- und Militärdirektion des Kantons Bern sowie das Bundesamt für Migration ersuchen um Abweisung der Beschwerde. Das Amt für Migration und Personenstand verweist auf die Vernehmlassung des Verwaltungsgerichts. Mit Schreiben vom 5. Januar 2011 halten die Beschwerdeführer an ihren Anträgen fest.

Erwägungen:
1. Entscheide über den Widerruf einer Aufenthaltsbewilligung eines Ausländers, der mit einer Schweizerin verheiratet ist, können beim Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden (vgl. Art. 83 lit. c Ziff. 2 BGG).
2. 2.1 Nach Art. 42 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) haben ausländische Ehegatten von Schweizerinnen Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Indessen ist zu beachten, dass diese Ansprüche nicht voraussetzungslos gelten; vielmehr erlöschen sie, wenn Widerrufsgründe nach Art. 63 AuG vorliegen (Art. 51 Abs. 1 lit. b AuG).
Gemäss Art. 63 Abs. 1 lit. a AuG i.V.m. Art. 62 lit. b AuG kann die Aufenthaltsbewilligung unter anderem dann widerrufen bzw. nicht verlängert werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Von einer solchen ist nach der Rechtsprechung bei einer Freiheitsstrafe von mehr als einem Jahr auszugehen (<ref-ruling> E. 4.2 und 4.5 S. 379 ff.), und zwar unabhängig davon, ob die Strafe bedingt, teilbedingt oder unbedingt zu vollziehen ist (Urteil 2C_515/2009 vom 27. Januar 2010 E. 2.1). Die gesetzliche Voraussetzung für einen Widerruf resp. eine Nichtverlängerung ist folglich hier erfüllt. Entgegen der Ansicht der Beschwerdeführer ist die Vorinstanz zu Recht davon ausgegangen, dass das Urteil des Obergerichts des Kantons Nidwalden vom 19. Juni 2007 - trotz der hängigen Beschwerde beim EGMR - gemäss Art. 61 BGG in Rechtskraft erwachsen ist (vgl. schon Urteil 2C_803/2009 vom 29. Januar 2010 E. 4; Heimgartner/Wiprächtiger, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 12 zu Art. 61 BGG) und damit einen Widerrufsgrund begründen kann. Die Beschwerdeführer gehen hier fehl, wenn sie ausführen, es sei "völlig unbillig und unangebracht", während dem vor dem EGMR hängigen Verfahren die Aufenthaltsbewilligung nicht zu verlängern, weil die angefochtene Verurteilung nicht hätte berücksichtigt werden dürfen.
2.2 Die Beschwerdeführer machen im Wesentlichen geltend, die Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers 2 sei wegen fehlerhafter Würdigung verschiedener Aspekte unverhältnismässig und für sie unzumutbar, da ihr Anspruch auf Achtung des Familienlebens verletzt werde.
Im Folgenden ist somit noch zu prüfen, ob die jeweils im Einzelfall vorzunehmende Interessenabwägung die angefochtene Massnahme auch als verhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 96 Abs. 1 AuG bzw. Art. 8 Ziff. 2 EMRK; <ref-ruling> E. 4.3 S. 381).
2.2.1 In Bezug auf das Verschulden des Beschwerdeführers 2 kann auf die überzeugenden Erwägungen der Vorinstanz verwiesen werden, wonach sein Verschulden als "schweres Tatverschulden" (vgl. angefochtener Entscheid E. 4.3) qualifiziert worden ist. Daran vermag der Umstand, dass er die ihm zur Last gelegten Taten bestreitet, nichts zu ändern. Auch der Schluss, dem Beschwerdeführer könne keine gute Prognose gestellt werden, ist nicht zu beanstanden. Selbst wenn es zutrifft, dass er sich seit der Entlassung aus dem Gefängnis wohl verhalten habe, kann daraus nicht gefolgert werden, es liege keine Rückfallgefahr mehr vor. Das Bundesgericht verfolgt insbesondere auch bei Delikten gegen die körperliche und sexuelle Integrität eine strenge Praxis (<ref-ruling> E. 4.a/aa S. 526 f.; <ref-ruling> E. 2.c S. 436 f.): Selbst ein relativ geringes Rückfallrisiko muss in diesen Fällen nicht hingenommen werden. Es kommt hinzu, dass der Beschwerdeführer 2 weitere Delikte begangen hat, die keineswegs Bagatellcharakter aufweisen (namentlich die Verurteilung des Amtsstatthalteramts A._ vom 25. Oktober 2006 zu einem Monat Gefängnis bedingt und Fr. 1'500.-- Busse wegen fahrlässiger Körperverletzung, Verletzung der Verkehrsregeln und pflichtwidrigen Verhaltens nach Unfall). Unter diesen Umständen durfte die Vorinstanz ein öffentliches Interesse an einer Wegweisung Y._s ohne Weiteres bejahen.
2.2.2 Die entgegenstehenden privaten Interessen, die für eine Verlängerung der Aufenthaltsbewilligung sprechen, sind unter den Umständen des Falles von geringerem Gewicht. Sie werden namentlich dadurch relativiert, dass der Beschwerdeführer 2 vor Verbüssung der Freiheitsstrafe keiner geregelten Arbeit nachging und - seinen eigenen Bekundungen zufolge aus beruflichen Gründen - im Wesentlichen bloss eine Wochenendbeziehung mit seiner Ehefrau unterhielt. Zudem hat er keine im Inland wohnhaften Kinder, mit denen er eine intensive Beziehung pflegt und für deren Unterhalt er aufzukommen hat. Es wurde auch nicht geltend gemacht, dass seine Ehefrau in irgendeiner Weise auf seine Anwesenheit angewiesen ist.
Soweit der Beschwerdeführer 2 sinngemäss geltend macht, seine bisherige Anwesenheitsdauer in der Schweiz sei nicht genügend berücksichtigt worden, ist ihm Folgendes entgegenzuhalten: Bei einem mit einer Schweizer Bürgerin verheirateten Ausländer, der erstmals oder nach bloss kurzer Aufenthaltsdauer um die Erneuerung seiner Bewilligung ersucht, geht das Bundesgericht in ständiger, auch unter dem neuen Ausländerrecht fortgeltender Praxis davon aus, dass dem Ausländer im Falle einer Verurteilung zu einer Freiheitsstrafe von zwei Jahren oder mehr in der Regel selbst dann kein Aufenthaltstitel mehr zu erteilen ist, wenn der Ehepartnerin die Ausreise nicht oder nur schwer zuzumuten ist (sog. "Reneja"-Praxis; <ref-ruling> E. 4.4 S. 382 mit Hinweisen). Der Beschwerdeführer hielt sich zwar im Zeitpunkt des Widerrufs der Bewilligung seit fast neun Jahren in der Schweiz auf, so dass die erwähnte Praxis hier nicht unbesehen angewendet werden kann. Von den neun Jahren entfallen aber 15 Monate auf den Strafvollzug. Auch hat sich der Beschwerdeführer weder beruflich noch sprachlich besonders integrieren können; zudem hat er den grössten Teil seines Lebens im Kosovo verbracht, da er erst im Alter von 25 Jahren in die Schweiz kam. Mithin ist die Anwesenheitsdauer des Beschwerdeführers zu relativieren; namentlich kann den Vorinstanzen nicht angelastet werden, sie hätten diesen Umstand nicht genügend berücksichtigt.
2.2.3 Soweit sich die Beschwerdeführer schliesslich auf Art. 8 EMRK (Schutz des Familienlebens) berufen, kann ihrer Rüge ebenfalls nicht gefolgt werden: Zwar wird die Beziehung zwischen den Eheleuten vom Schutzbereich der genannten Bestimmungen erfasst. Die Vorinstanz ist weiter zu Recht davon ausgegangen, dass die Eheleute ein grosses Interesse daran haben, ihre Ehe in der Schweiz leben zu dürfen. Hingegen gilt Art. 8 EMRK (wie auch Art. 13 BV) nicht absolut: Es ergibt sich daraus weder ein Recht auf Aufenthalt in einem bestimmten Staat noch auf die Wahl des für das Familienlebens am geeignetsten erscheinenden Orts (<ref-ruling> E. 3.1 S. 285 mit Hinweisen). Angesichts der Schwere der begangenen Straftaten und der fortbestehenden Gefahr für die öffentliche Sicherheit durfte die Vorinstanz zum Schluss kommen, die geografische Trennung der Eheleute erweise sich als verhältnismässig (vgl. auch E. 2.2.2 hiervor). Insbesondere hat die Vorinstanz die familiäre Situation und insbesondere die Nachteile, welche der Ehefrau erwachsen würden, müsste sie dem Betroffenen in dessen Heimat folgen, angemessen berücksichtigt (<ref-ruling> E. 4.3 S. 382 mit Hinweis auf das von den Beschwerdeführern angerufene Urteil des Europäischen Gerichtshofs für Menschenrechte Boultif gegen Schweiz vom 2. August 2001, publ. in: VPB 65/2001 Nr. 138 S. 1392). Zudem hat die Trauung in Kosovo stattgefunden, was darauf schliessen lässt, dass die dortigen Verhältnisse auch der Beschwerdeführerin 1 nicht völlig unvertraut sind, so dass ihr zumindest ein zeitweiliger Aufenthalt dort zugemutet werden kann.
2.2.4 Im Übrigen erweist sich die Rüge, die Vorinstanz und die Behörden des Kantons Bern hätten das Beschleunigungsgebot "krass verletzt" als zu wenig substantiiert; die Beschwerde erfüllt in diesem Punkt die Begründungsanforderungen von Art. 106 Abs. 2 BGG nicht, weshalb darauf nicht weiter einzugehen ist. Eine allfällige Verletzung des Beschleunigungsgebots würde ohnehin nicht zu einem absoluten Anspruch auf Familiennachzug führen (Urteil des Bundesgerichts 2C_757/2009 vom 6. Mai 2010 E. 6 mit Hinweis).
2.3 Die Vorinstanz hat die verschiedenen Aspekte, die zu berücksichtigen sind, mithin korrekt gewürdigt. Der Widerruf bzw. die Nichtverlängerung der Aufenthaltsbewilligung erweisen sich deshalb als verhältnismässig im Sinne von Art. 96 Abs. 1 AuG und Art. 8 Ziff. 2 EMRK. Ergänzend wird auf die Ausführungen im angefochtenen Entscheid verwiesen.
3. Nach dem Dargelegten erweist sich die Beschwerde als offensichtlich unbegründet und ist abzuweisen; sie kann im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung behandelt werden. Bei diesem Ergebnis besteht auch kein Anlass, dem Eventualantrag (Rückweisung der Sache an die Vorinstanz zur Neubeurteilung) stattzugeben.
Diesem Ausgang entsprechend haben die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (vgl. Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Amt für Migration und Personenstand, der Polizei- und Militärdirektion und dem Verwaltungsgericht des Kantons Bern sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 13. Januar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Winiger