Erwägungen:
1. 1.1 Der tunesische Staatsangehörige X._, geb. 1980, reiste im Juli 2005 in die Schweiz ein, um die 1949 geborene Schweizerin Y._ zu heiraten. Gestützt auf die Heirat wurde X._ eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erteilt, die ihm letztmals bis zum 14. Juli 2011 verlängert worden ist.
Seit seiner Einreise wurde X._ wiederholt strafrechtlich verurteilt: Am 15. Juli 2008 zu einer bedingten Geldstrafe von 80 Tagessätzen zu je Fr. 80.-- und zu einer Busse von Fr. 1'000.-- wegen Irreführung der Rechtspflege, mehrfachen Fahrens in fahrunfähigem Zustand, versuchter Vereitelung von Massnahmen zur Feststellung der Fahrunfähigkeit, Verletzung von Verkehrsregeln und pflichtwidrigen Verhaltens bei Unfall; am 24. März 2009 zu einer bedingten Geldstrafe von 60 Tagessätzen zu je Fr. 70.-- wegen Vereitelung von Massnahmen zur Feststellung der Fahrunfähigkeit, Verletzung von Verkehrsregeln und pflichtwidrigen Verhaltens bei Unfall; am 2. März 2010 zu einer Freiheitsstrafe (Gesamtstrafe) von 36 Monaten, davon 18 Monate bedingt bei einer Probezeit von 3 Jahren, wegen Vergewaltigung.
1.2 Am 12. Oktober 2010 verfügte das Amt für Polizeiwesen und Zivilrecht den Widerruf der Aufenthaltsbewilligung von X._ und setzte ihm eine Ausreisefrist an. Sowohl das Departement für Justiz, Sicherheit und Gesundheit (9. März 2011) als auch das Verwaltungsgericht des Kantons Graubünden (17. Mai 2011) wiesen eine gegen den Entscheid des Amts für Polizeiwesen und Zivilrecht gerichtete Eingabe ab.
1.3 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 8. Juli 2011 beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben und ihm die Aufenthaltsbewilligung zu verlängern. Der Beschwerdeführer, der dem Bundesgericht auch neue Beweismittel vorlegt, macht im Wesentlichen geltend, die Nichtverlängerung seiner Aufenthaltsbewilligung sei das Resultat einer willkürlichen Feststellung des Sachverhalts bzw. einer willkürlichen Würdigung der Akten und verletze das Prinzip der Verhältnismässigkeit. Mit Verfügung vom 14. Juli 2011 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zu.
2. Entscheide über den Widerruf bzw. die Verlängerung einer Aufenthaltsbewilligung eines Ausländers, der mit einer Schweizerin verheiratet ist, können beim Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden (<ref-law>; Urteil 2C_744/2010 vom 13. Januar 2011 E. 2). Die Aufenthaltsbewilligung des Beschwerdeführers, die widerrufen wurde, ist allerdings seit dem 14. Juli 2011 abgelaufen (Art. 61 Abs. 1 lit. c AuG), sodass es heute nur noch darum geht, ob die Bewilligung zu verlängern sei (Urteil 2C_129/2007 vom 14. Juni 2007 E. 2.1).
3. Die Eingabe erweist sich, soweit darauf einzutreten ist, als offensichtlich unbegründet und kann ohne Weiterungen im vereinfachten Verfahren nach <ref-law> erledigt werden:
3. Die Eingabe erweist sich, soweit darauf einzutreten ist, als offensichtlich unbegründet und kann ohne Weiterungen im vereinfachten Verfahren nach <ref-law> erledigt werden:
3.1 3.1.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, wenn er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>). Der Beschwerdeführer hat im Einzelnen darzutun, inwiefern die Sachverhaltsermittlung oder die Beweiswürdigung offensichtlich unhaltbar und damit willkürlich ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; <ref-ruling> E. 3 S.104 f.). Auf rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung tritt das Bundesgericht nicht ein (<ref-ruling> E. 3 S. 104 f.).
3.1.2 Der Beschwerdeführer wirft dem Verwaltungsgericht eine willkürliche Feststellung des Sachverhalts bzw. eine willkürliche Würdigung der Akten vor. Er beschränkt sich indessen darauf, seine Sicht der Dinge zu schildern und sie derjenigen der letzten kantonalen Instanz gegenüberzustellen. Willkür liegt nicht schon dann vor, wenn der von der Vorinstanz als erstellt erachtete Sachverhalt nicht mit der Darstellung des Beschwerdeführers übereinstimmt oder eine andere Sachverhaltsdarstellung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Erforderlich ist vielmehr, dass die Feststellungen bzw. die Beweiswürdigung der Vorinstanz offensichtlich unhaltbar sind, zur tatsächlichen Situation in klarem Widerspruch stehen, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzen oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen (<ref-ruling> E. 2b S. 56; <ref-ruling> E. 2a S. 168; <ref-ruling> E. 4a S. 5). Dass und inwiefern dies hier der Fall wäre, legt der Beschwerdeführer nicht dar.
3.1.3 Da neue Tatsachen und Beweismittel nur soweit vorgebracht werden dürfen, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), und echte tatsächliche Noven nicht berücksichtigt werden können (<ref-ruling> E. 2.1 S. 343 f.), sind die vom Beschwerdeführer eingereichten Beweismittel ebenfalls unbeachtlich.
3.2 Aufgrund des für das Bundesgericht damit verbindlich festgestellten Sachverhalts, der ausdrücklich auch die neuere Entwicklung in Tunesien berücksichtigt, ist der angefochtene Entscheid nicht zu beanstanden:
3.2.1 Nach Art. 42 Abs. 1 AuG haben ausländische Ehegatten von Schweizer Bürgern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Bewilligungsansprüche nach Art. 42 AuG erlöschen jedoch, wenn Widerrufsgründe nach Art. 63 AuG vorliegen (Art. 51 Abs. 1 lit. b AuG).
Gemäss Art. 63 Abs. 1 lit. a AuG i.V.m. Art. 62 lit. b AuG kann die Aufenthaltsbewilligung unter anderem dann widerrufen bzw. nicht verlängert werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Diese Massnahme rechtfertigt sich jedoch nur, wenn sie sich aufgrund der im Einzelfall vorzunehmenden Interessenabwägung als verhältnismässig erweist (Art. 96 Abs. 1 AuG). Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (<ref-ruling> E. 4.3 S. 381). Analoge Kriterien ergeben sich aus Art. 8 Ziff. 2 EMRK (<ref-ruling> E. 1.3.2 und E. 2 S. 146 ff.).
3.2.2 Von einer längerfristigen Freiheitsstrafe im Sinne von Art. 62 lit. b AuG ist nach der Rechtsprechung bei einer Freiheitsstrafe von mehr als einem Jahr auszugehen (<ref-ruling> E. 4.2 und 4.5 S. 379 ff.), und zwar unabhängig davon, ob die Strafe bedingt, teilbedingt oder unbedingt zu vollziehen ist (Urteil 2C_515/2009 vom 27. Januar 2010 E. 2.1). Nachdem der Beschwerdeführer am 2. März 2010 zu einer Freiheitsstrafe von 36 Monaten verurteilt wurde, sind die Voraussetzungen für die Verneinung der Aufenthaltsbewilligung aufgrund von Art. 51 Abs. 1 lit. b i.V.m. Art. 63 Abs. 1 lit. a und Art. 62 lit. b AuG vorliegend erfüllt.
3.2.3 Wie gesehen, rechtfertigt sich die Nichtverlängerung der Aufenthaltsbewilligung jedoch nur, wenn sie sich aufgrund der im Einzelfall vorzunehmenden Interessenabwägung als verhältnismässig erweist.
Dies ist hier der Fall: Seit der Einreise in die Schweiz wurde der Beschwerdeführer wiederholt strafrechtlich verurteilt, u.a. zu einer Freiheitsstrafe von insgesamt 36 Monaten (wovon 18 zu vollziehen) wegen Vergewaltigung. In diesem Zusammenhang ist sein Verschulden zu Recht als schwer eingestuft worden. Entgegen der Kritik des Beschwerdeführers, ist auch der Schluss der Vorinstanz, ihm könne keine gute Prognose gestellt werden, nicht zu beanstanden. Das Bundesgericht verfolgt auch bei Delikten gegen die körperliche und sexuelle Integrität eine strenge Praxis (<ref-ruling> E. 4.a/aa S. 526 f.; <ref-ruling> E. 2.c S. 436 f.): Selbst ein relativ geringes Rückfallrisiko muss in diesen Fällen nicht hingenommen werden. Es kommt schliesslich hinzu, dass der Beschwerdeführer weitere Delikte begangen hat, die keineswegs Bagatellcharakter aufweisen (vgl. E. 1.1 hievor), wofür er zu bedingten Strafen von 80 Tagessätzen zu je Fr. 80.-- bzw. 60 Tagessätzen zu je Fr. 70.-- verurteilt worden ist.
Die entgegenstehenden privaten Interessen, die für eine Verlängerung der Aufenthaltsbewilligung sprechen, sind unter den Umständen des Falles von geringerem Gewicht. Soweit der Beschwerdeführer geltend macht, seine bisherige Anwesenheitsdauer in der Schweiz sei nicht genügend berücksichtigt worden bzw. seiner Schweizer Ehefrau dürfte eine Übersiedlung nach Tunesien schwerfallen, ist ihm Folgendes entgegenzuhalten: Bei einem mit einer Schweizer Bürgerin verheirateten Ausländer, der erstmals oder nach bloss kurzer Aufenthaltsdauer um die Erneuerung seiner Bewilligung ersucht, geht das Bundesgericht in ständiger, auch unter dem neuen Ausländerrecht fortgeltender Praxis davon aus, dass dem Ausländer im Falle einer Verurteilung zu einer Freiheitsstrafe von zwei Jahren oder mehr in der Regel selbst dann kein Aufenthaltstitel mehr zu erteilen ist, wenn der Ehepartnerin die Ausreise nicht oder nur schwer zuzumuten ist (sogenannte "Reneja"-Praxis; <ref-ruling> E. 4.4 S. 382 mit Hinweisen). Die vom Beschwerdeführer geltend gemachten Interessen werden im Übrigen dadurch relativiert, dass er vor Verbüssung der Freiheitsstrafe keiner regelmässigen Erwerbstätigkeit nachging und dass selbst die Beziehung zu seiner Ehefrau ihn nicht abhalten konnte, seine deliktische Tätigkeit fortzusetzen und gar zu intensivieren.
3.2.4 Aus analogen Gründen verstösst der angefochtene Entscheid auch nicht gegen Art. 8 EMRK (bzw. <ref-law>). Mit Blick auf das Schweizer Bürgerrecht der Ehefrau des Beschwerdeführers stellt die Nichtverlängerung der Niederlassungsbewilligung zwar einen Eingriff in das Recht auf Familienleben nach Art. 8 Ziff. 1 EMRK dar (Urteil 2C_152/2011 vom 25. August 2011 E. 3.3). Die Vorinstanz ist wie gesagt - zumindest implizit - weiter zu Recht davon ausgegangen, dass für sie eine Umsiedlung nach Tunesien kaum zumutbar sein dürfte. Art. 8 EMRK gilt aber nicht absolut: Es ergibt sich daraus weder ein Recht auf Aufenthalt in einem bestimmten Staat noch auf die Wahl des für das Familienleben am geeignetsten erscheinenden Orts (<ref-ruling> E. 3.1 S. 285 mit Hinweisen). Angesichts der Schwere der begangenen Straftaten und der fortbestehenden Gefahr für die öffentliche Sicherheit durfte die Vorinstanz zum Schluss kommen, die geografische Trennung der Eheleute erweise sich als verhältnismässig. Letztlich kommt der Ehefrau die Wahl zu, ob sie dem Beschwerdeführer nach Tunesien folgen will oder nicht.
3.2.5 Die Vorinstanz hat die verschiedenen Aspekte, die zu berücksichtigen sind, mithin korrekt gewürdigt. Die Nichtverlängerung der Aufenthaltsbewilligung erweist sich als verhältnismässig sowohl im Sinne von Art. 96 Abs. 1 AuG als auch von Art. 8 Ziff. 2 EMRK.
Ergänzend ist zu bemerken, dass die Nichtverlängerung der Aufenthaltsbewilligung für sich allein mit keinem Verbot der Einreise zu Besuchszwecken verbunden ist (Urteile 2C_152/2011 vom 25. August 2011 E. 3.2; 2C_832/2009 vom 29. Juni 2010 E. 5). Wieweit der Beschwerdeführer mit einem Einreiseverbot belegt werden darf bzw. wieweit allfällige Suspensionen zwecks Familienbesuchs zu prüfen wären, ist nicht Gegenstand des vorliegenden Verfahrens.
4. 4.1 Soweit darauf eingetreten werden kann, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten deshalb abzuweisen. Für alles Weitere kann auf die zutreffenden Ausführungen in den Entscheiden des Departements für Justiz, Sicherheit und Gesundheit bzw. des Verwaltungsgerichts des Kantons Graubünden verwiesen werden (<ref-law>).
4.2 Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Polizeiwesen und Zivilrecht, dem Departement für Justiz, Sicherheit und Gesundheit und dem Verwaltungsgericht des Kantons Graubünden, 1. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 2. Dezember 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Savoldelli