Sachverhalt: A. Der 1975 geborene deutsche Staatsangehörige V._ liess sich Mitte Juli 2004 zur Aufnahme einer Erwerbstätigkeit als einzelzeichnungsberechtigter Geschäftsführer der in der Schweiz ansässigen X._ GmbH, an der er als Gesellschafter mit der Hälfte des Stammkapitals beteiligt ist, in der Schweiz (in Y._) nieder. Dabei übt er seine berufliche Tätigkeit zu ca. 70 % im (europäischen) Ausland aus. Anfang August 2004 stellte er unter Hinweis auf seine in Deutschland bei der Allianz Private Krankenversicherungs-AG (nachfolgend: Allianz) bestehende Krankenversicherung, deren Schutz sich auch auf die Schweiz erstreckt, ein Gesuch um Befreiung von der Krankenversicherungspflicht in der Schweiz. Das Sozialversicherungsamt Schaffhausen (Ausgleichskasse) lehnte dieses Befreiungsgesuch mit Verfügung vom 24. August 2004, welche es mit Einspracheentscheid vom 21. September 2004 bestätigte, ab. B. Die von V._ gegen den Einspracheentscheid erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 14. Januar 2005 ab. C. V._ lässt Verwaltungsgerichtsbeschwerde führen mit dem sinngemässen Rechtsbegehren, er sei in Aufhebung des kantonalen Gerichtsentscheides und des Einspracheentscheides von der Krankenversicherungspflicht in der Schweiz zu befreien. Eventualiter ersucht er um Sistierung des Verfahrens bis zu einem politischen Entscheid über die Aufhebung des Krankenversicherungsobligatoriums. Das Sozialversicherungsamt (Ausgleichskasse) und das vom Eidgenössischen Versicherungsgericht zur Vernehmlassung aufgeforderte Bundesamt für Gesundheit schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde.