Sachverhalt:
A. S._ ist bei der Assura Kranken- und Unfallversicherung obligatorisch für Krankenpflege versichert. Nachdem er im Juni 2000 Beschwerden in Folge von Zeckenbissen im Jahr 1999 hatte melden lassen, erbrachte die Zürich Versicherungs-Gesellschaft, bei welcher S._ als Angestellter des Kantons Bern vom 1. Januar bis 31. Dezember 1999 obligatorisch gegen Unfälle versichert war, zunächst die gesetzlichen Leistungen. Gestützt auf die medizinischen Unterlagen, namentlich ein Gutachten des Neurologen Prof. M._ vom 6. Oktober 2002, lehnte die Zürich den Anspruch auf Leistungen aus der Unfallversicherung mit Verfügung vom 8. Januar 2003 ab, weil die Gesundheitsstörungen des Versicherten keine Folgen eines zwischen 1. Januar und 31. Dezember 1999 eingetretenen Unfalls darstellten und in keinem Kausalzusammenhang zu einem möglichen, im Jahr 1999 erlittenen Zeckenbiss stünden. Der Versicherte erhob Einsprache.
Für die Folgen eines Reitunfalls vom 6. Oktober 2000 erbrachte die Visana als nunmehr zuständige Unfallversicherung zunächst die gesetzlichen Leistungen, verneinte indessen mit Verfügung vom 11. Dezember 2002 ihre weitere Leistungspflicht, woran sie mit Einspracheentscheid vom 31. Januar 2003 festhielt. In Gutheissung der hiegegen eingereichten Beschwerde hob das Verwaltungsgericht des Kantons Bern den Einspracheentscheid auf und wies die Sache zu ergänzenden Abklärungen und neuer Verfügung an die Visana zurück (Entscheid vom 4. November 2003).
Mit Schreiben vom 14. März 2003 hatte S._ die Assura unter Berufung auf deren gesetzliche Vorleistungspflicht um Begleichung mehrerer offener Rechnungen für Medikamente und Laboruntersuchungen im Zusammenhang mit dem behaupteten Zeckenbiss ersucht. Mit Verfügung vom 3. April 2003 eröffnete die Assura dem Versicherten, dass sie die ihr vorgelegten Rechnungen mit Ausnahme eines Betrages von Fr. 1432.15 (abzüglich Kostenbeteiligung) nicht übernehme; die Rocephin-Therapie und die Behandlungen mit den Antibiotika Zithromax und Clamoxyl seien medizinisch nicht indiziert und damit als nicht wirtschaftlich zu betrachten. Die Kosten für die Laboruntersuchungen in den USA könnten auf Grund des Territorialitätsprinzips nicht vergütet werden, während das Medikament Claforan nicht auf der Spezialitätenliste aufgeführt sei und damit keine Pflichtleistung der obligatorischen Krankenversicherung darstelle. Auf Einsprache von S._ hin hielt die Assura mit Entscheid vom 22. Mai 2003 an ihrem Standpunkt fest.
B. Die von S._ hiegegen eingereichte Beschwerde, mit welcher er beantragen liess, unter Aufhebung des Einspracheentscheides sei die Assura zu verpflichten, als vorleistungspflichtiger Krankenversicherer die Leistungen im Zusammenhang mit den Unfällen von 1999 und 2000 zu erbringen, wies das Verwaltungsgericht des Kantons Bern ab (Entscheid vom 4. November 2003).
C. Mit Verwaltungsgerichtsbeschwerde lässt S._ das vorinstanzlich gestellte Rechtsbegehren erneuern.
Während die Assura auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung, Abteilung Kranken- und Unfallversicherung (seit 1. Januar 2004 im Bundesamt für Gesundheit), auf eine Vernehmlassung.
D. Der Instruktionsrichter holte bei der Visana das Gutachten des Prof. M._ vom 6. Oktober 2002 ein.
E. Mit Eingabe vom 5. Juli 2004 reichte die Assura ein Aktengutachten des Prof. V._, Chefarzt der Klinik für Rheumatologie, Klinische Immunologie und Allergologie am Spital X._, vom 30. Mai 2004 ein.
F. S._ liess am 3. September 2004 verschiedene Unterlagen einreichen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Nach der Rechtsprechung können nach Ablauf der Rechtsmittelfrist - ausser im Rahmen eines zweiten Schriftenwechsels - keine neuen Akten mehr eingebracht werden. Vorbehalten bleiben Aktenstücke, die neue erhebliche Tatsachen oder entscheidende Beweismittel im Sinne von Art. 137 lit. b OG darstellen und als solche eine Revision des Gerichtsurteils rechtfertigen könnten (<ref-ruling>). Die von den Parteien nachträglich eingereichten Unterlagen sind unter revisionsrechtlichem Gesichtswinkel im Sinne von Art. 137 lit. b OG unerheblich und haben daher bei der Beurteilung des vorliegenden Falles ausser Acht zu bleiben.
2. Begründet ein Versicherungsfall einen Anspruch auf Sozialversicherungsleistungen, bestehen aber Zweifel darüber, welche Sozialversicherung die Leistungen zu erbringen hat, so kann die berechtigte Person Vorleistung verlangen (<ref-law>). Vorleistungspflichtig ist die Krankenversicherung für Sachleistungen und Taggelder, deren Übernahme durch die Krankenversicherung, die Unfallversicherung, die Militärversicherung oder die Invalidenversicherung umstritten ist (<ref-law>). Die berechtigte Person hat sich bei den in Frage kommenden Sozialversicherungen anzumelden (<ref-law>). Die Vorleistungspflicht der Krankenversicherung gemäss <ref-law> entspricht derjenigen des bisherigen Rechts (Kieser, ATSG-Kommentar, N 35 zu Art. 70). Der mit dem altrechtlichen, gestützt auf <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung) erlassenen <ref-law> (gültig bis 31. Dezember 2002) geregelte Zweifelsfall betraf ausschliesslich Tatbestände, bei denen unbestritten ist, dass eine bestimmte Leistung erbracht werden muss, hingegen zweifelhaft ist, welcher von zwei Versicherern diese Leistung schuldet (Urteil T. vom 26. April 2001, K 146/99). Soweit von <ref-law> Sachleistungen erfasst sind, muss ein Zweifel über die Leistungspflicht bei einer Heilbehandlung bestehen, weil die Krankenpflegeversicherung grundsätzlich nur Leistungen mit einer diagnostischen, therapeutischen oder pflegerischen Zielsetzung erbringt. Es geht somit um Untersuchungen, Behandlungen, Pflegemassnahmen, Analysen, Arzneimittel und bestimmte Mittel und Gegenstände (Kieser, a.a.O., N 12 zu Art. 70).
Nach <ref-law> erbringt der vorleistungspflichtige Versicherungsträger die Leistungen nach den für ihn geltenden Bestimmungen. Wird der Fall von einem anderen Träger übernommen, so hat dieser die Vorleistungen im Rahmen seiner Leistungspflicht zurückzuerstatten. <ref-law> stellt ebenfalls keine Neuerung dar, sondern entspricht alt <ref-law>. Ist somit gestützt auf <ref-law> die Vorleistungspflicht bestimmt worden, richtet sich in der Folge die Leistungspflicht nach den Bestimmungen der für den betreffenden Sozialversicherungszweig massgebenden Regelung, was bedeutet, dass sämtliche für die Leistungsausrichtung erheblichen Fragen nach diesen Bestimmungen zu beantworten sind (Kieser, a.a.O., N 3 und 4 zu Art. 73).
Erfolgt eine medikamentöse Behandlung auf Grund einer Diagnose, die sich nachträglich als falsch herausstellt, ist dies kein Grund für die Verneinung der Vorleistungspflicht. Massgebend ist, dass eine Verdachtsdiagnose eine Behandlung rechtfertigen kann und diese aus medizinischer Sicht im Durchführungszeitpunkt prospektiv als indiziert erscheint. Tauchen im Nachhinein, beispielsweise gestützt auf ein fachärztliches Gutachten, Zweifel an der ursprünglichen Diagnose auf, führt dies nicht dazu, dass die seinerzeit auf Grund der Verdachtsdiagnose veranlasste, als wirksam, zweckmässig und wirtschaftlich gemäss <ref-law> erachtete Behandlung nunmehr als unwirksam, unzweckmässig oder unwirtschaftlich bezeichnet werden kann mit der Folge, dass der Krankenversicherer sich unter Berufung auf <ref-law> der Vorleistungspflicht gestützt auf <ref-law> entschlagen könnte. Die Vorleistungspflicht des Krankenversicherers entfällt erst, wenn die durchgeführte Behandlung den Kriterien des <ref-law> offensichtlich nicht entspricht.
3. Im vorliegenden Fall steht fest, dass der Beschwerdeführer an erheblichen, behandlungsbedürftigen gesundheitlichen Beeinträchtigungen leidet, deren Ursache noch nicht geklärt ist. Während die Zürich als zuständige Unfallversicherung ihre Leistungspflicht nach umfangreichen Abklärungen gemäss Verfügung vom 8. Januar 2003 verneint hat mit der Begründung, dass es sich bei den geklagten Beschwerden nicht um Unfallfolgen handelt und ein Zeckenbiss als Ursache nicht mit der erforderlichen Wahrscheinlichkeit nachgewiesen sei, vertritt der Versicherte die Auffassung, seine Beschwerden seien unfallkausal. Über seine mit der entsprechenden Begründung erhobene Einsprache wurde, soweit ersichtlich, noch nicht entschieden. Streitig und zu prüfen ist, ob die Assura als Krankenversicherer des Beschwerdeführers auf Grund der gesetzlichen Vorleistungspflicht die im Zusammenhang mit der Behandlung des seitens der beteiligten Ärzte vermuteten Zeckenbisses im Jahr 1999 stehenden Rechnungen zu übernehmen hat.
3.1 Aus den vorstehend (Erw. 2 hievor) dargelegten Grundsätzen folgt, dass der Krankenversicherer im Falle einer Heilbehandlung im Verhältnis zur Unfallversicherung vorleistungspflichtig ist, wenn feststeht, dass eine bestimmte Leistung erbracht werden muss, aber unklar ist, ob der behandelte Gesundheitsschaden auf einen Unfall (eine unfallähnliche Körperschädigung; eine Berufskrankheit) oder eine Krankheit zurückzuführen ist. Dies bedeutet, dass der Krankenversicherer gerade in Fällen, in welchen die Unfallkausalität einer Gesundheitsschädigung streitig ist und von den beteiligten Ärzten kontrovers beurteilt wird, grundsätzlich vorleistungspflichtig ist.
3.2 Die Assura kann sich demnach nicht unter Hinweis auf <ref-law> und eine Stellungnahme ihres Vertrauensarztes oder anderer am Verfahren beteiligter Mediziner mit Erfolg auf fehlende Wirtschaftlichkeit der durchgeführten Behandlungen im Sinne von Art. 32 in Verbindung mit <ref-law> berufen, weil sie aus dem Gutachten des Prof. M._ schliesst, der Kausalzusammenhang zwischen (allfälligem) Zeckenbiss und den Gesundheitsstörungen des Beschwerdeführers sei nicht mit überwiegender Wahrscheinlichkeit nachgewiesen, weshalb die durchgeführten Behandlungen medizinisch nicht indiziert gewesen seien. Denn so lange die im Hinblick auf eine Borreliose-Erkrankung infolge Zeckenbisses angeordnete medikamentöse Therapie auf Grund einer Verdachtsdiagnose zum damaligen Zeitpunkt aus medizinischer Sicht unter Berücksichtigung des dem behandelnden Arzt zustehenden Ermessens gerechtfertigt erschien, ist die Vorleistungspflicht der Assura gegeben. Mit ihrer Auffassung verkennt die Assura das Wesen der Vorleistungspflicht gemäss <ref-law>, mit welcher lediglich geregelt wird, welcher der Versicherer im Zweifelsfall eine Leistung, die erbracht werden muss, zunächst schuldet. Dass im vorliegenden Fall Versicherungsleistungen in Form von Heilbehandlung und Arzneimitteln zu erbringen waren, steht damit fest.
4. Gestützt auf <ref-law> ist die Assura nach dem Gesagten grundsätzlich vorleistungspflichtig, wobei sich ihre Vorleistungspflicht nach Massgabe der Bestimmungen des KVG richtet. Mit Bezug auf die einzelnen Rechnungen gilt Folgendes:
4.1 Die Rechnung der Apotheke Y._ vom 31. Oktober 2002 über Fr. 5066.75, welche im Teilbetrag von Fr. 1432.15 anerkannt wurde, hat die Assura vollumfänglich (abzüglich Kostenbeteiligung des Beschwerdeführers) zu übernehmen.
4.2 Die Rechnung der Apotheke Y._ vom 1. Februar 2003 über Fr. 9417.15 betrifft das nicht auf der Spezialitätenliste aufgeführte Medikament Claforan und Positionen, die im Zusammenhang mit der Verabreichung dieses Arzneimittels stehen. Da die gesetzliche Ordnung die Übernahme der Kosten von nicht auf der Spezialitätenliste aufgeführten Arzneimitteln durch die obligatorische Krankenpflegeversicherung ausschliesst (RKUV 2003 KV Nr. 260 S. 302 Erw. 3; Gebhard Eugster, Krankenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, S. 64 Rz 126), entfällt nach <ref-law> die Vorleistungspflicht der Assura.
4.3 Nicht vorleistungspflichtig ist die Assura sodann für die in den USA durchgeführten Laboruntersuchungen (Rechnung vom 6. Oktober 2002 über Fr. 663.-). Gemäss <ref-law> in Verbindung mit <ref-law> werden - abgesehen von Notfällen (<ref-law>) - Leistungen nach den Art. 25 Abs. 2 und 29 KVG, die im Ausland erbracht werden, von der obligatorischen Krankenpflegeversicherung nur übernommen, wenn sie in der Schweiz nicht erbracht werden können (vgl. RKUV 2003 KV Nr. 253 S. 229). Es ist nicht ersichtlich, dass die in den USA vorgenommenen Laboruntersuchungen nicht auch in der Schweiz hätten durchgeführt werden können, was vom Beschwerdeführer denn auch nicht behauptet wird.
5. Das Verfahren ist kostenlos (Art. 134 OG). Dem Prozessausgang entsprechend hat der Beschwerdeführer Anspruch auf eine reduzierte Parteientschädigung (Art. 159 Abs. 1 und 3 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Bern vom 4. November 2003 und der Einspracheentscheid vom 22. Mai 2003 dahin abgeändert, dass die Assura verpflichtet wird, die Rechnung der Apotheke Y._ vom 31. Oktober 2002 vollumfänglich (abzüglich Kostenbeteiligung des Versicherten) zu übernehmen. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Die Assura hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 800.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Verwaltungsgericht des Kantons Bern wird über eine Parteientschädigung für das kantonale Verfahren, entsprechend dem Ausgang des letztinstanzlichen Prozesses, zu befinden haben.
5. Dieses Urteil wird den Parteien, der VISANA, Bern, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Gesundheit (BAG) zugestellt.
Luzern, 27. Januar 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer: Der Gerichtsschreiber: