Sachverhalt: A. S._ ist bei der Assura Kranken- und Unfallversicherung obligatorisch für Krankenpflege versichert. Nachdem er im Juni 2000 Beschwerden in Folge von Zeckenbissen im Jahr 1999 hatte melden lassen, erbrachte die Zürich Versicherungs-Gesellschaft, bei welcher S._ als Angestellter des Kantons Bern vom 1. Januar bis 31. Dezember 1999 obligatorisch gegen Unfälle versichert war, zunächst die gesetzlichen Leistungen. Gestützt auf die medizinischen Unterlagen, namentlich ein Gutachten des Neurologen Prof. M._ vom 6. Oktober 2002, lehnte die Zürich den Anspruch auf Leistungen aus der Unfallversicherung mit Verfügung vom 8. Januar 2003 ab, weil die Gesundheitsstörungen des Versicherten keine Folgen eines zwischen 1. Januar und 31. Dezember 1999 eingetretenen Unfalls darstellten und in keinem Kausalzusammenhang zu einem möglichen, im Jahr 1999 erlittenen Zeckenbiss stünden. Der Versicherte erhob Einsprache. Für die Folgen eines Reitunfalls vom 6. Oktober 2000 erbrachte die Visana als nunmehr zuständige Unfallversicherung zunächst die gesetzlichen Leistungen, verneinte indessen mit Verfügung vom 11. Dezember 2002 ihre weitere Leistungspflicht, woran sie mit Einspracheentscheid vom 31. Januar 2003 festhielt. In Gutheissung der hiegegen eingereichten Beschwerde hob das Verwaltungsgericht des Kantons Bern den Einspracheentscheid auf und wies die Sache zu ergänzenden Abklärungen und neuer Verfügung an die Visana zurück (Entscheid vom 4. November 2003). Mit Schreiben vom 14. März 2003 hatte S._ die Assura unter Berufung auf deren gesetzliche Vorleistungspflicht um Begleichung mehrerer offener Rechnungen für Medikamente und Laboruntersuchungen im Zusammenhang mit dem behaupteten Zeckenbiss ersucht. Mit Verfügung vom 3. April 2003 eröffnete die Assura dem Versicherten, dass sie die ihr vorgelegten Rechnungen mit Ausnahme eines Betrages von Fr. 1432.15 (abzüglich Kostenbeteiligung) nicht übernehme; die Rocephin-Therapie und die Behandlungen mit den Antibiotika Zithromax und Clamoxyl seien medizinisch nicht indiziert und damit als nicht wirtschaftlich zu betrachten. Die Kosten für die Laboruntersuchungen in den USA könnten auf Grund des Territorialitätsprinzips nicht vergütet werden, während das Medikament Claforan nicht auf der Spezialitätenliste aufgeführt sei und damit keine Pflichtleistung der obligatorischen Krankenversicherung darstelle. Auf Einsprache von S._ hin hielt die Assura mit Entscheid vom 22. Mai 2003 an ihrem Standpunkt fest. B. Die von S._ hiegegen eingereichte Beschwerde, mit welcher er beantragen liess, unter Aufhebung des Einspracheentscheides sei die Assura zu verpflichten, als vorleistungspflichtiger Krankenversicherer die Leistungen im Zusammenhang mit den Unfällen von 1999 und 2000 zu erbringen, wies das Verwaltungsgericht des Kantons Bern ab (Entscheid vom 4. November 2003). C. Mit Verwaltungsgerichtsbeschwerde lässt S._ das vorinstanzlich gestellte Rechtsbegehren erneuern. Während die Assura auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung, Abteilung Kranken- und Unfallversicherung (seit 1. Januar 2004 im Bundesamt für Gesundheit), auf eine Vernehmlassung. D. Der Instruktionsrichter holte bei der Visana das Gutachten des Prof. M._ vom 6. Oktober 2002 ein. E. Mit Eingabe vom 5. Juli 2004 reichte die Assura ein Aktengutachten des Prof. V._, Chefarzt der Klinik für Rheumatologie, Klinische Immunologie und Allergologie am Spital X._, vom 30. Mai 2004 ein. F. S._ liess am 3. September 2004 verschiedene Unterlagen einreichen.