Sachverhalt: Sachverhalt: A. B._, geboren 1945, beabsichtigte, von N._ einen Gastwirtschaftsbetrieb zu kaufen und übernahm diesen vorerst ab 1. Mai 1999 in Pacht. Bei anschliessenden Umbau- und Abbrucharbeiten erlitt er am 14. September 1999 einen Unfall mit schweren, bleibenden Verletzungen. Gestützt auf die Unfallmeldung vom 16. September 1999, welche von N._ als Arbeitgeber ausgefüllt worden war, den Bericht der Kantonspolizei Schwyz vom 16. Oktober 1999 sowie weitere Abklärungen durch den Versicherungsinspektor anerkannte die Schweizerische Unfallversicherungsanstalt (SUVA) die Leistungspflicht und gewährte B._ die gesetzlichen Leistungen (Heilbehandlung und Taggeld). Am 14. Februar 2003 erfuhr die SUVA, dass das Kantonsgericht des Kantons Zug (nachfolgend Kantonsgericht) am 5. August 2002 entschieden hatte, es habe zum Zeitpunkt des Unfalls am 14. September 1999 zwischen B._ und N._ kein Arbeitsverhältnis bestanden. Gestützt darauf verfügte die SUVA am 13. Juni 2003 die nachträgliche Ablehnung der Leistungspflicht, da diese anhand eines falschen Sachverhaltes bejaht worden und zweifellos unrichtig sei. Mit Einspracheentscheid vom 2. September 2003 hielt die SUVA an ihrer Verfügung fest. Am 14. Februar 2003 erfuhr die SUVA, dass das Kantonsgericht des Kantons Zug (nachfolgend Kantonsgericht) am 5. August 2002 entschieden hatte, es habe zum Zeitpunkt des Unfalls am 14. September 1999 zwischen B._ und N._ kein Arbeitsverhältnis bestanden. Gestützt darauf verfügte die SUVA am 13. Juni 2003 die nachträgliche Ablehnung der Leistungspflicht, da diese anhand eines falschen Sachverhaltes bejaht worden und zweifellos unrichtig sei. Mit Einspracheentscheid vom 2. September 2003 hielt die SUVA an ihrer Verfügung fest. B. Beschwerdeweise liess B._ beantragen, der Einspracheentscheid vom 2. September 2003 sei aufzuheben und die SUVA sei zu verpflichten, sämtliche gesetzlichen Leistungen aus dem Arbeitsunfall vom 14. September 1999 zu erbringen. Das Verwaltungsgericht des Kantons Schwyz zog vom Kantonsgericht die Akten im Zivilprozess zwischen B._ und N._ bei und gab den Parteien Gelegenheit zur Stellungnahme. Aufgrund dieser Akten verneinte das Verwaltungsgericht des Kantons Schwyz ein Arbeitsverhältnis zwischen B._ und N._ zum Zeitpunkt des Unfalls am 14. September 1999 und betrachtete dies als eine neue erhebliche Tatsache, die es rechtfertige, die damals nach dem Unfall erfolgte Anerkennung der Leistungspflicht in Revision zu ziehen und die Leistungspflicht mangels Arbeitnehmerstatus nachträglich abzuerkennen. Demnach wies es die Beschwerde vom 2. September 2003 ab (Entscheid vom 22. März 2004). B. Beschwerdeweise liess B._ beantragen, der Einspracheentscheid vom 2. September 2003 sei aufzuheben und die SUVA sei zu verpflichten, sämtliche gesetzlichen Leistungen aus dem Arbeitsunfall vom 14. September 1999 zu erbringen. Das Verwaltungsgericht des Kantons Schwyz zog vom Kantonsgericht die Akten im Zivilprozess zwischen B._ und N._ bei und gab den Parteien Gelegenheit zur Stellungnahme. Aufgrund dieser Akten verneinte das Verwaltungsgericht des Kantons Schwyz ein Arbeitsverhältnis zwischen B._ und N._ zum Zeitpunkt des Unfalls am 14. September 1999 und betrachtete dies als eine neue erhebliche Tatsache, die es rechtfertige, die damals nach dem Unfall erfolgte Anerkennung der Leistungspflicht in Revision zu ziehen und die Leistungspflicht mangels Arbeitnehmerstatus nachträglich abzuerkennen. Demnach wies es die Beschwerde vom 2. September 2003 ab (Entscheid vom 22. März 2004). C. B._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des kantonalen Entscheides und des Einsprachentscheides "sei die Leistungspflicht der SUVA gegenüber dem Einsprecher bezüglich des Unfallereignisses vom 14. September 1999 festzustellen". Die SUVA schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet.