Sachverhalt:
A. Der 1956 geborene D._ war als technischer Sachbearbeiter in der Firma E._ AG tätig und dadurch bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen Unfallfolgen versichert. Am 23. November 2006 liess er dem Versicherer melden, er leide nach mehreren Zeckenstichen vom 18. Juni 2006 an einer Neuro-Borreliose. Die SUVA holte nebst Berichten des behandelnden Arztes, Dr. med. T._, Arzt für Innere Medizin FMH, ein Gutachten des Prof. Dr. med. M._, Leiter der Neurologischen Poliklinik am Spital X._ vom 6. August (recte wohl: September) 2007 ein. Gestützt auf die Aussagen des Experten verneinte sie mit Verfügung vom 17. September 2007 ihre Leistungspflicht mangels eines kausalen Zusammenhangs zwischen den geklagten Beschwerden und dem gemeldeten Ereignis vom 18. Juni 2006. Die vom Krankenpflegeversicherer des D._ hiegegen vorsorglich erhobene Einsprache wurde wieder zurückgezogen. Der Versicherte erhob seinerseits Einsprache und legte ein Aktengutachten des Dr. med. S._, Facharzt für Innere Medizin FMH, vom 21. November 2007 auf. Dazu gab Prof. Dr. med. M._ auf Anfrage der SUVA am 21. Februar 2008 eine Stellungnahme ab, zu welcher sich wiederum Dr. med. S._ am 17. März 2008 äusserte. Sodann gab Dr. med. C._, Facharzt FMH für Innere Medizin und Arbeitsmedizin, von der Abteilung Arbeitsmedizin der SUVA, am 2. April 2008 eine Ärztliche Beurteilung ab. Mit Entscheid vom 22. April 2008 wies der Versicherer die Einsprache des D._ ab.
B. Die von D._ hiegegen erhobene Beschwerde, welcher eine weitere Stellungnahme des Dr. med. S._ vom 8. Mai 2008 beilag, wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 2. Oktober 2008 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheids sei die Sache zu ergänzenden Abklärungen und zum neuen Entscheid über die Zusprechung von Leistungen an die Vorinstanz oder an den Unfallversicherer zurückzuweisen; eventuell sei ein Obergutachten zur Frage des Vorliegens einer Neuro-Borreliose einzuholen. Sodann sei das kantonale Gericht zu verpflichten, über eine Parteientschädigung für das vorinstanzliche Verfahren zu befinden. Mit der Beschwerde wird ein Bericht des Dr. med. T._ vom 31. Oktober 2008 aufgelegt.
Die SUVA schliesst auf Abweisung der Beschwerde. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2. Streitig und zu prüfen ist, ob aufgrund von Zeckenstichen eine Neuro-Borreliose (als Erscheinungsform der Lyme-Krankheit [auch: Lyme-Borreliose] mit Beteiligung des Nervensystems) eingetreten ist, welche einen Anspruch auf Leistungen der obligatorischen Unfallversicherung begründet.
Das kantonale Gericht hat die massgeblichen Bestimmungen und Grundsätze zutreffend dargelegt. Es betrifft dies namentlich den Unfallbegriff und die für einen Leistungsanspruch aus der obligatorischen Unfallversicherung erforderlichen kausalen Zusammenhänge zwischen dem versicherten Ereignis und dem eingetretenen Schaden, insbesondere bei Zeckenstichen, sowie die sich stellenden beweisrechtlichen Fragen. Darauf wird verwiesen.
Hervorzuheben ist, dass der Stich der Zecke der Gattung Ixodes sämtliche Merkmale des Unfallbegriffs (<ref-law>; aArt. 9 Abs. 1 UVV) erfüllt, weshalb der obligatorische Unfallversicherer für die damit verbundenen Infektionskrankheiten (Lyme-Krankheit, Enzephalitis) und deren Folgen aufzukommen hat (<ref-ruling> E. 4 S. 239 ff. E. 5 und seitherige Entscheide).
3. 3.1 Das kantonale Gericht hat zunächst erkannt, der Beschwerdeführer habe mit überwiegender Wahrscheinlichkeit am 18. Juni 2006 mehrere Zeckenstiche erlitten und sei dabei mit Borrelien infiziert worden. Das ist nicht umstritten.
Wie die Vorinstanz sodann richtig erwogen hat, genügt der Nachweis eines Kontaktes mit dem Borreliose-Erreger nicht für den Schluss auf eine Lyme-Krankheit. Vielmehr setzt die Diagnose dieser Krankheit - gleich welchen Stadiums - ein entsprechendes klinisches Beschwerdebild und den Ausschluss von Differentialdiagnosen voraus, wobei je nach Krankheitsstadium ein pathologischer laborchemischer Test die Wahrscheinlichkeit der Diagnose erhöhen kann (Urteil U 585/06 vom 11. September 2007 E. 4 mit Hinweisen, u.a. auf: NORBERT SATZ, Klinik der Lyme-Borreliose, 2. Aufl. 2002, S. 70). Das gilt auch bei der Neuro-Borreliose (SATZ, a.a.O., S. 159 ff.; H.C. DIENER ET ALII, Leitlinien für Diagnostik und Therapie in der Neurologie, herausgegeben von der Kommission "Leitlinien der Deutschen Gesellschaft für Neurologie", 3. Aufl. 2003, S. 359 ff.). Deren Diagnose ergibt sich aus der Kombination einer typischen klinischen Symptomatik, entzündlicher Liquorveränderungen und der positiven Borrelienserologie im Liquor (DIENER, a.a.O., S. 359).
3.2 Das kantonale Gericht hat wie bereits die SUVA eine Neuro-Borreliose verneint. Es stützt sich namentlich auf das fachärztliche Gutachten des Prof. Dr. med. M._ vom 6. September 2007 (mit Ergänzung vom 21. Februar 2008). Danach ist eine Neuro-Borreliose auszuschliessen. Der Experte begründet dies zusammenfassend damit, dass für diese Krankheit typische objektivierbare klinische Ausfälle fehlten, die laborchemischen Untersuchungen der Blutseren keine eindeutigen Ergebnisse erbracht hätten, der Liquorbefund als normal betrachtet werden müsse und die aus neuropsychologischer Sicht festgestellten Symptome unspezifischer Art seien. Formal leide der Versicherte an einem chronischen Spannungskopfschmerz mit migräniformen Exacerbationen. Diese Beschwerden könnten durch die ausgeprägte psychosoziale Belastungssituation und durch eine depressive Episode verstärkt werden. Prof. Dr. med. M._ legt überdies in der ergänzenden Stellungnahme vom 21. Februar 2008 dar, weshalb er sich durch die abweichende Auffassung, welche im Aktengutachten des Dr. med. S._ vom 21. November 2007 vertreten wird, zu keiner anderen Sichtweise veranlasst sieht.
3.3 Das kantonale Gericht hat einlässlich ausgeführt, weshalb es die Feststellungen des Prof. Dr. med. M._ für verlässlich erachtet und die davon abweichenden Aussagen der Dres. med. T._ und S._ für weniger überzeugend hält. Diese Würdigung ist in allen Teilen nachvollziehbar und schlüssig begründet. Die Vorinstanz verweist dabei auch richtigerweise auf die Beurteilung des SUVA-Arztes Dr. med. C._ vom 2. April 2008, worin die fachärztlichen Aussagen des Prof. Dr. med. M._ bestätigt und mit weiteren, schlüssigen Argumenten untermauert werden.
Was in der Beschwerde vorgebracht wird, rechtfertigt keine andere Betrachtungsweise. Namentlich können sämtliche Einwendungen nichts daran ändern, dass die aufgetretenen Symptome unspezifisch sind und nicht dem für eine Neuro-Borreliose typischen klinischen Bild entsprechen. Prof. Dr. med. M._ äussert sich dazu gestützt auf die von ihm durchgeführten Untersuchungen sowie unter Berücksichtigung der von Dr. med. T._ erwähnten Symptome in eingehender und überzeugender Weise. Demgegenüber hat Dr. med. S._ den Beschwerdeführer nicht klinisch untersucht, sondern alleine gestützt auf die medizinischen Vorberichte und serologischen Abklärungen Stellung genommen. Dies hat das kantonale Gericht zutreffend gewürdigt. Es hat zudem richtigerweise auf weitere medizinische Abklärungen, wie sie letztinstanzlich erneut beantragt werden, verzichtet, da davon kein entscheidrelevanter neuer Aufschluss zu erwarten ist. Es kann auch im Übrigen auf die einlässlichen Erwägungen im angefochtenen Entscheid verwiesen werden.
3.4 Der Versicherte beruft sich sodann auf den Arztbericht des Dr. med. T._ vom 31. Oktober 2008. Es stellt sich grundsätzlich die Frage der prozessualen Zulässigkeit dieses erst letztinstanzlich aufgelegten Belegs. Dies kann indessen offenbleiben, da der Bericht ohnehin keine abweichende Beurteilung zu rechtfertigen vermöchte. Das zeigen die folgenden Erwägungen:
3.4.1 Dr. med. T._ führt zunächst aus, ausgehend vom Zeckenstich sei im Bereich der linken Brust ein Erythema chronicum migrans aufgetreten.
Das solitäre, an der Zeckenstichstelle entstandene Erythema (chronicum) migrans ist eine lokale Reaktion auf die eingedrungenen (Borrelien-)Erreger (SATZ, a.a.O., S. 104). Ob eine solche Hautmanifestation aufgetreten ist, ist vorliegend umstritten. In den medizinischen Vorberichten hat Dr. med. T._ keinerlei entsprechenden Angaben gemacht. Offenbar erwähnte er auch bei der telefonischen Besprechung, welche Prof. Dr. med. M._ im Rahmen seines Begutachtungsauftrages am 7. August 2007 mit ihm geführt hat, kein Erythema migrans, ansonsten der Experte dies sicher festgehalten hätte. Zu erwähnen ist weiter, dass gemäss dem Gutachten vom 6. September 2007 vom Versicherten angegeben wurde, er sei eine Woche nach den erstmaligen Zeckenstichen erneut von einer Zecke gestochen worden. Einige Wochen danach sei eine bräunliche Verfärbung im Bereich der linken Axilla, verbunden mit Juckreiz, aufgetreten und habe während Monaten persistiert. Der Versicherte habe dem anfänglich keine Beachtung geschenkt, da es sich um eine bräunliche und nicht um eine rötliche Verfärbung gehandelt habe; zudem habe er schon hin und wieder bräunliche Hautverfärbungen gehabt, welche jeweils mit Salben- oder Deodorant-Applikation verbunden gewesen seien. Prof. Dr. med. M._ ging in der Folge davon aus, es sei kein Erythema migrans aufgetreten (Gutachten vom 6. September 2007). Diese fachärztliche Beurteilung ist aufgrund der Angaben des Versicherten und mangels anderweitiger Hinweise, welche in für den Experten erkennbarer Weise auf eine solche Hautmanifestation hingedeutet hätten, nachvollziehbar.
Weshalb Dr. med. T._ erst im Bericht vom 31. Oktober 2008 ein Erythema migrans erwähnt hat, kann offenbleiben. Denn auch das Vorliegen eines Erythema migrans in der Anamnese oder zum Zeitpunkt der physikalischen Untersuchung ist nicht zwangsläufig mit den aktuellen abzuklärenden Beschwerden des Patienten in Verbindung zu bringen. Der Befund dispensiert nicht von einer sorgfältigen Erhebung der weiteren Anamnese und von einem gründlichen Ausschluss anderer Ätiologien (SATZ, a.a.O., S. 104 f.). Im vorliegenden Fall hat Prof. Dr. med. M._ eine Neuro-Borreliose namentlich auch deswegen ausgeschlossen, weil es an der für diese Krankheit typischen neurologischen Symptomatik mangelt. Zudem fand er einen normalen Liquorbefund vor und erwiesen sich die blutserologischen Untersuchungen als nicht aussagekräftig. Damit fehlen entscheidende diagnostische Merkmale, welche den Schluss auf eine Neuro-Borreliose gestatten könnten.
3.4.2 Daran ändert auch der Hinweis des Dr. med. T._ auf eine livide Verfärbung, welche in der rechten Axillar-Gegend aufgetreten und im Mai 2007 mittels Hautbiopsie untersucht worden sei, nichts. Der Arzt führt aus, die dabei erhobenen Befunde seien zwar nicht absolut spezifisch, aber doch sehr typisch für eine Borrelieninfektion. Dass eine solche stattgefunden hat, ist indessen wie bereits dargelegt unbestritten und genügt nicht für den Schluss auf eine Neuro-Borreliose (E. 3.1 hievor).
3.4.3 Dr. med. T._ bezeichnet sodann als zweitrangig, ob eine Neuro-Borreliose aufgetreten sei; wesentlich sei, dass eine Borrelieninfektion stattgefunden habe. Zweifel an den Aussagen des neurologischen Experten Prof. Dr. med. M._ vermag dies nicht zu begründen. Gleiches gilt für den Hinweis des Dr. med. T._, wonach die durchgeführten antibiotischen Behandlungen jeweils zu einer Besserung geführt haben. Dies wurde im Gutachten vom 6. September 2007 gestützt auf die früheren Angaben des Dr. med. T._ bereits berücksichtigt.
4. Zusammenfassend haben SUVA und kantonales Gericht eine Neuro-Borreliose zu Recht verneint. Die Beschwerde ist daher abzuweisen.
5. Die Kosten des vorliegenden Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>). Dasselbe gilt für die Parteikosten des vorinstanzlichen Prozesses.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 750.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 17. März 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz