Sachverhalt: A. G._ stellte bei der Sumiswalder Kranken- und Unfallkasse (nachfolgend: Sumiswalder) im Januar 2000 den Antrag um Aufnahme in die obligatorische Krankenpflegeversicherung per 1. Januar 2000. Die Kasse teilte ihm am 26. Januar 2000 mit, sie benötige Unterlagen des bisherigen Versicherers (Versicherungsausweis und Kündigungsschreiben). Ohne diese Dokumente könne sie den Wechsel nicht vollziehen. G._ reichte die verlangten Unterlagen nicht ein, machte aber geltend, er sei trotzdem seit 1. Januar 2000 bei der Sumiswalder versichert, und bekräftigte diesen Standpunkt in der Folge mehrmals schriftlich. Am 29. November 2001 teilte die Sumiswalder G._ mit, sie habe durch Zufall erfahren, dass er bei der Visana versichert sei. Gleichzeitig erklärte sie sich bereit, ihn per 1. Januar 2002 in die obligatorische Krankenpflegeversicherung aufzunehmen, sofern er nochmals mit dem entsprechenden Formular die Aufnahme beantrage. G._ beharrte jedoch darauf, ohne neuen Antrag aufgenommen zu werden, was der Versicherer ablehnte. Auf Verlangen von G._ erliess die Sumiswalder am 14. März 2003 eine Verfügung, mit welcher sie sich bereit erklärte, ihn rückwirkend ab 1. Januar 2003 zu versichern, unter der Voraussetzung, dass ihn die Visana auf dieses Datum hin aus dem bei ihr bestehenden Versicherungsverhältnis entlasse. Die Ausrichtung von Schadenersatz lehnte der Versicherer ab. An diesem Standpunkt hielt er auf Einsprache hin mit Entscheid vom 1. April 2003 fest. B. In teilweiser Gutheissung der dagegen erhobenen Beschwerde verpflichtete das Verwaltungsgericht des Kantons Bern die Sumiswalder, G._ Schadenersatz in Höhe der Prämiendifferenz zwischen der gleichen Versicherung bei ihr und der Visana für die Zeit vom 1. Dezember 2001 bis 30. Juni 2003 zu leisten. Im Übrigen wies es die Beschwerde ab (Entscheid vom 12. Juni 2003). C. Mit Verwaltungsgerichtsbeschwerde verlangt G._ sinngemäss die Anordnung der rückwirkenden Aufnahme durch die Sumiswalder in die obligatorische Krankenpflegeversicherung für die Zeit vom 1. Januar 2000 bis 30. Juni 2003, eventuell die Zusprechung von Schadenersatz in Höhe der Differenz zwischen den Prämien der Sumiswalder und der Visana während dieses Zeitraums. Die Sumiswalder schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung (BSV), Abteilung Kranken- und Unfallversicherung (seit 1. Januar 2004 im Bundesamt für Gesundheit), verzichtet auf eine Vernehmlassung.