Erwägungen:
1. 1.1 Der britische Staatsangehörige X._ (geb. 1970) reiste erstmals im Dezember 1998 in die Schweiz ein, wo er aufgrund einer mit einer Schweizer Bürgerin geschlossenen Ehe eine Aufenthaltsbewilligung erhielt. Die Ehe wurde im Frühjahr 2001 geschieden. Anschliessend heiratete er eine in der Schweiz niedergelassene mazedonische Staatsangehörige, mit welcher er seit Oktober 2000 einen gemeinsamen Sohn hat. Wegen diverser strafrechtlicher Verurteilungen lehnte der Migrationsdienst des Kantons Bern am 15. Juli 2009 die Erneuerung der letztmals bis zum 24. Februar 2007 verlängerten Aufenthaltsbewilligung von X._ ab und wies ihn aus der Schweiz weg. Die dagegen erhobenen Rechtsmittel wurden am 2. März 2010 von der Polizei- und Militärdirektion und am 28. Juli 2010 vom Verwaltungsgericht des Kantons Bern abgewiesen.
1.2 Gegen das Urteil des Verwaltungsgerichts gelangt X._ mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 1. September 2010 an das Bundesgericht. Er beantragt, ihm eine Aufenthaltsbewilligung zu erteilen und ihn lediglich fremdenpolizeilich zu verwarnen. Eventualiter beantragt er eine "ordentliche" Ausreisefrist nach Art. 66 AuG (SR 142.20).
Die Polizei- und Militärdirektion, das Verwaltungsgericht sowie - verspätet - das Bundesamt für Migration stellen den Antrag, die Beschwerde abzuweisen. Der kantonale Migrationsdienst verweist auf die Vernehmlassung des Verwaltungsgerichts.
1.3 Dr. med. Y._ hat das Bundesgericht Anfang Oktober 2010 um Fristerstreckung für die Anfertigung und Vorlage eines psychiatrischen Gutachtens über X._ ersucht. Mangels gerichtlichen Auftrags und aus verfahrensrechtlichen Gründen betrachtete der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts mit Schreiben vom 11. Oktober 2010 die Fristerstreckung als obsolet. Am 13. Dezember 2010 reichte Dr. Y._ unaufgefordert ein "psychiatrisches Zeugnis" betreffend X._ ein.
1.4 Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 8. September 2010 antragsgemäss die aufschiebende Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
2. 2.1 Die Vorinstanz geht zutreffend davon aus, dass bei Anwendung des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft (EG) und ihren Mitgliedstaaten andererseits über die Freizügigkeit (FZA; SR 0.142.112.681) eine hinreichend schwere und gegenwärtige Gefährdung der öffentlichen Ordnung vom Beschwerdeführer ausgehen muss, damit ihm als Brite der weitere Aufenthalt in der Schweiz verweigert werden darf (vgl. Art. 5 Anhang I FZA; <ref-ruling> E. 3.4 und 4 S. 182 ff.; <ref-ruling> E. 4.2 S. 20; je mit Hinweisen). Dabei legt sie - entgegen den Andeutungen des Beschwerdeführers - die sich aus dem Abkommen ergebenden Prinzipien korrekt zugrunde. Fehl geht die Rüge, es hätte die europäische Richtlinie 2004/38/EG und nicht in der Zwischenzeit innerhalb der EG aufgehobene europäische Bestimmungen angewendet werden müssen. Denn bisher wurde in Bezug auf das FZA - als sog. "statisches" Abkommen - keine entsprechende Änderung vorgenommen (BGE <ref-ruling> E. 4.1 S. 19 f.; s. auch ALVARO BORGHI, La libre circulation des personnes entre la Suisse et l'UE, 2010, Rz. 4, 247 ff. und 677).
Ob für das Erlöschen des Bewilligungsanspruchs im Weiteren auf Art. 51 Abs. 2 lit. b i.V.m. Art. 62 AuG - so das Verwaltungsgericht - oder mit Blick auf das Diskriminierungsverbot von Art. 2 FZA auf Art. 51 Abs. 1 lit. b i.V.m. Art. 63 AuG abzustellen ist, kann hier offen gelassen werden, da die Vorinstanz letztlich doch auf die strengeren Anforderungen des inländischen Rechts für den Verlust des Anwesenheitsrechts des Ehepartners eines Schweizer Bürgers abstellt (vgl. ihren Hinweis auf die Art. 7 und 10 des früheren Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer [ANAG; BS 1 121 und die Änderungen gemäss der Fussnote zu Ziff. I Anhang 2 AuG] sowie auf die Reneja-Praxis gemäss <ref-ruling> E. 4.4 S. 382 f.).
2.2 Der Beschwerdeführer macht geltend, er sei nie wegen "eigentlich schweren" Straftaten, insbesondere wegen Gewalt-, Sexual- oder Betäubungsmitteldelikten verurteilt worden, so dass keine Gefahr in Bezug auf eine schwere Delinquenz von ihm ausgehe. Zudem sei er berufstätig, seit längerer Zeit nicht mehr straffällig und der Strafvollzug zur Bewährung ausgesetzt worden, weshalb seine Entfernung unzulässig sei.
2.3 Dass der Ausländer "bloss" wegen Vermögensdelikten verurteilt worden ist, steht Entfernungsmassnahmen im Rahmen des FZA nicht entgegen (<ref-ruling> E. 4.3.1 S. 29).
Die Vorinstanz verweist auf die zahlreichen Verurteilungen des Beschwerdeführers seit 1987 und stellt insbesondere auf die beiden letzten vom 18. Juni 2003 zu 20 Monaten sowie vom 22. April 2009 zu 30 Monaten Freiheitsstrafe namentlich wegen gewerbsmässigen Betrugs und mehrfacher Urkundenfälschung ab. Sie würdigt auch diverse, über den Beschwerdeführer angefertigte Gutachten und Berichte aus den Jahren 2008-2010, die sich unter anderem zur Rückfallgefahr äussern. Sie weist zudem darauf hin, dem Beschwerdeführer sei anlässlich einer fremdenpolizeilichen Androhung der Ausweisung im Jahre 2004 bewusst gewesen, dass ihm damals eine - seinen eigenen Angaben zufolge - "letzte Chance" zur Besserung eingeräumt worden war. Dennoch wurde er rund ein Jahr später wieder und in teilweise schwer wiegender Weise deliktisch tätig, wobei ein hoher Deliktsbetrag und zahlreiche Opfer betroffen waren. Er hatte deren Notlage und Abhängigkeit ausgenutzt und für sie in der Folge auch keine Reue gezeigt. Der Beschwerdeführer hat im Übrigen nicht - wie er behauptet - zuletzt im März 2007 Delikte begangen, sondern im März des darauf folgenden Jahres. Danach war er bis Mai 2010 in Haft.
2.4 Der Beschwerdeführer rügt sinngemäss eine Verletzung seines Anspruchs auf rechtliches Gehör, weil ihm die Vorinstanz nicht durch die von ihm beantragte Sistierung oder Zuwarten die Möglichkeit eingeräumt habe, ein Gutachten über das Rückfallrisiko zu erstellen. Fraglich ist bereits, ob diese Rüge hinreichend substanziiert ist (vgl. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG).
Aufgrund der zahlreichen bei den Akten befindlichen Unterlagen - darunter auch neuere Berichte von Dezember 2009 und April 2010 -, konnte die Vorinstanz in stillschweigend antizipierter Beweiswürdigung willkürfrei (dazu <ref-ruling> E. 5.3 S. 148; Urteil 4A_33/2009 vom 4. Mai 2009 mit Hinweisen) davon ausgehen, dass ein neues Gutachten seine Überzeugung nicht ändern werde. Der Beschwerdeführer behauptet nicht, er hätte bei der Vorinstanz aufgezeigt, dass und warum die bereits vorhandenen Gutachten und Berichte unzutreffend bzw. veraltet seien. Ausserdem ist kein Grund ersichtlich oder dargetan, aus dem sich ergibt, dass sich beim Beschwerdeführer innerhalb kürzester Zeit ein völliger Sinneswandel eingestellt hätte. Im Übrigen hält Dr. Y._ in seinem - an sich als echtes Novum gemäss <ref-law> (vgl. <ref-ruling> E. 2 S. 343 f.) aus dem Recht zu weisenden - Schreiben vom 13. Dezember 2010 fest, die Delinquenz stehe nicht in einem kausalen Zusammenhang mit der Persönlichkeit des Beschwerdeführers; aus dieser könne deshalb keine Aussage über seine Rückfallgefahr gemacht werden. Die Vorinstanz stellt jedoch auch auf das Vorleben und die Lebensumstände des Beschwerdeführers ab. Angesichts seiner langjährigen Delinquenz, die weder durch die ihm bekannten Strafermittlungen, Verurteilungen, den Strafvollzug und fremdenpolizeiliche Verwarnungen noch mit Blick auf seine familiäre und berufliche Situation aufhörte, darf nach ständiger Praxis von einem erheblichen Rückfallrisiko ausgegangen werden. Dass der Beschwerdeführer im Mai 2010 auf Bewährung entlassen worden ist, seither keine Delikte mehr begangen hat und inzwischen über eine Arbeitsstelle verfügt, in welcher er bisher offenbar geschätzt wird, vermag nichts am erwähnten Schluss über die Rückfallgefahr zu ändern (vgl. <ref-ruling> E. 4.3.3 S. 187 ff.).
2.5 Die Vorinstanz hat die sich gegenüber stehenden Interessen an der Entfernung des Beschwerdeführers einerseits und an seinem Verbleib anderseits sorgfältig und richtig abgewogen. Darauf ist zu verweisen (<ref-law>). Entgegen seiner Behauptung wird gegen ihn kein Aufenthaltsverbot auf Lebenszeit verhängt. Er wird sich jedoch über eine gewisse Zeit in Freiheit zu bewähren haben, bevor er wieder mit einer Bewilligung in der Schweiz rechnen kann.
3. 3.1 Demzufolge erweist sich die Beschwerde als offensichtlich unbegründet und ist im vereinfachten Verfahren mit summarischer Begründung nach <ref-law> abzuweisen, soweit auf sie einzutreten ist. Das Bundesgericht bestimmt nicht die Ausreisefrist nach Art. 66 AuG. Diese wird von den zuständigen kantonalen Behörden neu festzusetzen sein.
3.2 Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 18. Januar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz