Erwägungen:
1. Der tunesische Staatsangehörige X._, geb. 1955, heiratete am 19. Mai 1984 in Tunis die Schweizer Bürgerin Y._. Aus der Ehe sind die Tochter S._, geb. 1988, und der Sohn T._, geb. 1991, hervorgegangen. Am 27. März 1988 reiste X._ erstmals in die Schweiz ein und erhielt gestützt auf seine Ehe eine Aufenthaltsbewilligung. Im Oktober 1996 wanderte die gesamte Familie nach Tunesien aus. Die Ehefrau und die Tochter kehrten im Sommer 2001 in die Schweiz zurück; X._ und der Sohn folgten ihnen am 6. Februar 2002. Am 30. Oktober 2007 wurde die Ehe geschieden.
X._ wurde mehrfach vom Kreisgericht XIII Bern-Laupen verurteilt:
- am 26. August 2003 zu 17 Monaten Gefängnis, bedingt, wegen Diebstahls, mehrfach begangen, sowie Betrugs, mehrfach und gewerbsmässig begangen;
- am 16. Februar 2007 zu 32 Monaten Freiheitsstrafe, davon 16 Monate bedingt, und einer Busse von Fr. 600.-- wegen Vergewaltigung, mehrfach begangen zum Nachteil seiner Ehefrau, Tätlichkeiten, mehrfach begangen, zum Nachteil der Ehefrau und der Tochter, sowie Drohungen, mehrfach begangen zum Nachteil der Ehefrau.
X._ befand sich vom 15. März 2007 bis 6. Juli 2008 im Strafvollzug. Mit Verfügung vom 2. Juli 2008 lehnten die Einwohnerdienste, Migration und Fremdenpolizei der Einwohnergemeinde Bern, die Verlängerung der am 30. September 2007 abgelaufenen Aufenthaltsbewilligung ab, und wiesen X._ aus der Schweiz weg. Die gegen diese Verfügung erhobene Beschwerde hiess die Polizei- und Militärdirektion des Kantons Bern am 2. Oktober 2009 teilweise insofern gut, als die Wegweisung statt aus der Schweiz nur aus dem Kanton Bern verfügt wurde; im Übrigen wies die Polizei- und Militärdirektion die Beschwerde ab, soweit sie darauf eintrat. Das Verwaltungsgericht des Kantons Bern bestätigte diesen Entscheid mit Urteil vom 26. März 2010.
2. X._ hat am 6. Mai 2010 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons Bern aufzuheben. Die Beschwerde ist indessen offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung erledigt werden kann.
Anwendbar ist noch das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121), da das zu beurteilende Gesuch noch vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) eingereicht worden ist (Art. 126 Abs. 1 AuG). Gemäss Art. 7 Abs. 1 ANAG (in der Fassung vom 23. März 1990; AS 1991 134) hat der ausländische Ehegatte einer Schweizer Bürgerin grundsätzlich Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung (Satz 1) sowie nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren auf Erteilung der Niederlassungsbewilligung (Satz 2). Da der Beschwerdeführer während mehr als fünf Jahren mit einer Schweizer Bürgerin verheiratet war und er während dieser Zeit (seit Februar 2002 bis zur Scheidung im Oktober 2007) ordnungsgemäss und ununterbrochen in der Schweiz gelebt hat, besitzt er jedenfalls nach Massgabe von Art. 7 Abs. 1 ANAG einen potenziellen Anspruch auf die Erteilung einer Niederlassungsbewilligung, den er auch nach erfolgter Scheidung geltend machen kann; einen solchen Anspruch hat der Beschwerdeführer auch insoweit, als er um Erteilung der ein weniger gefestigtes Anwesenheitsrecht gewährenden Aufenthaltsbewilligung ersucht (BGE 135 II 1 E. 1.2.2 S. 4, mit Hinweisen). Nicht berufen kann sich der Beschwerdeführer demgegenüber auf den Anspruch auf Achtung des Familienlebens (Art. 13 BV, Art. 8 EMRK), da die Ehe geschieden ist und es somit an einer intakten familiären Beziehung fehlt (BGE 130 II 281 E. 3.1 S. 285 f., mit Hinweisen), sowie, was die Kinder betrifft, diese volljährig sind (BGE 129 II 11 E. 2 S. 13 f., mit Hinweisen).
Nach der Rechtsprechung entfällt der Anspruch gemäss Art. 7 ANAG, wenn an einer definitiv gescheiterten Ehe festgehalten wird, um die Vorschriften über Aufenthalt und Niederlassung zu umgehen (BGE 128 II 145 E. 2 S. 151 f., mit Hinweisen). Dass hier die Ehe vor Ablauf eines ununterbrochenen Aufenthalts von fünf Jahren, das bedeutet vor Februar 2007, definitiv gescheitert wäre, stellt das Verwaltungsgericht nicht fest, weshalb davon ausgegangen werden muss, dass der Beschwerdeführer einen Anspruch auf Niederlassungsbewilligung bzw. in majore minus auf Aufenthaltsbewilligung erworben hat.
Der Anspruch auf Niederlassungs- oder Aufenthaltsbewilligung erlischt ferner, wenn ein Ausweisungsgrund vorliegt. Ein solcher ist unter anderem gegeben, wenn der Ausländer wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (Art. 10 Abs. 1 lit. a ANAG), er nicht gewillt ist, sich in die im Gaststaat geltende Ordnung einzufügen (Art. 10 Abs. 1 lit. b ANAG) oder er der öffentlichen Wohltätigkeit fortgesetzt und in erheblichem Masse zur Last fällt (Art. 10 Abs. 1 lit. d ANAG). Das Verwaltungsgericht hat zutreffend dargelegt, dass diese Ausweisungsgründe allesamt erfüllt sind. Der Beschwerdeführer ist zu Freiheitsstrafen von 17 Monaten und von 32 Monaten wegen gravierender Delikte verurteilt worden, die sich namentlich gegen seine Ehefrau richteten. Seit seiner Einreise in die Schweiz im Jahr 2002 hat er Sozialhilfeleistungen im Umfang von Fr. 143'320.80 bezogen, und es kann nicht in Frage gestellt werden, dass die Gefahr weiterer Sozialhilfeabhängigkeit besteht. Die Nichtverlängerung der Aufenthaltsbewilligung sowie die Ausweisung setzen sodann voraus, dass auch die gebotene Interessenabwägung die Massnahmen als verhältnismässig erscheinen lässt (BGE 125 II 521 E. 2a S. 523; 120 Ib 6 E. 4a S. 12 f.). Dabei fällt in Betracht, dass der Beschwerdeführer im Alter von 33 Jahren erstmals in die Schweiz eingereist ist, acht Jahre später mitsamt der Familie für fünf Jahre in sein Heimatland Tunesien zurückgekehrt und erst seit 2002 wieder in die Schweiz gekommen ist. Es lässt sich unter diesen Umständen offensichtlich nicht sagen, dass es dem Beschwerdeführer unzumutbar wäre, nach Tunesien zurückzukehren. Seine geschiedene Ehefrau sowie die zwei Kinder wünschen zwar, dass er in der Schweiz bleiben könne. Dieser Wunsch ist verständlich, doch bleibt zu berücksichtigen, dass die Kinder erwachsen sind und die familiäre Beziehung auch durch Besuche gelebt werden kann. Unter diesen Umständen überwiegt das öffentliche Interesse an der Verweigerung der Aufenthaltsbewilligung. Es kann auf die Ausführungen der Vorinstanz verwiesen werden (Art. 109 Abs. 3 BGG).
3. Der Beschwerdeführer, der unterliegt, hat die bundesgerichtlichen Kosten zu tragen (Art. 66 Abs. 1 BGG), und er hat keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 2000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. August 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass