Sachverhalt:
Sachverhalt:
A. B._, geboren 1945, beabsichtigte, von N._ einen Gastwirtschaftsbetrieb zu kaufen und übernahm diesen vorerst ab 1. Mai 1999 in Pacht. Bei anschliessenden Umbau- und Abbrucharbeiten erlitt er am 14. September 1999 einen Unfall mit schweren, bleibenden Verletzungen. Gestützt auf die Unfallmeldung vom 16. September 1999, welche von N._ als Arbeitgeber ausgefüllt worden war, den Bericht der Kantonspolizei Schwyz vom 16. Oktober 1999 sowie weitere Abklärungen durch den Versicherungsinspektor anerkannte die Schweizerische Unfallversicherungsanstalt (SUVA) die Leistungspflicht und gewährte B._ die gesetzlichen Leistungen (Heilbehandlung und Taggeld).
Am 14. Februar 2003 erfuhr die SUVA, dass das Kantonsgericht des Kantons Zug (nachfolgend Kantonsgericht) am 5. August 2002 entschieden hatte, es habe zum Zeitpunkt des Unfalls am 14. September 1999 zwischen B._ und N._ kein Arbeitsverhältnis bestanden. Gestützt darauf verfügte die SUVA am 13. Juni 2003 die nachträgliche Ablehnung der Leistungspflicht, da diese anhand eines falschen Sachverhaltes bejaht worden und zweifellos unrichtig sei. Mit Einspracheentscheid vom 2. September 2003 hielt die SUVA an ihrer Verfügung fest.
Am 14. Februar 2003 erfuhr die SUVA, dass das Kantonsgericht des Kantons Zug (nachfolgend Kantonsgericht) am 5. August 2002 entschieden hatte, es habe zum Zeitpunkt des Unfalls am 14. September 1999 zwischen B._ und N._ kein Arbeitsverhältnis bestanden. Gestützt darauf verfügte die SUVA am 13. Juni 2003 die nachträgliche Ablehnung der Leistungspflicht, da diese anhand eines falschen Sachverhaltes bejaht worden und zweifellos unrichtig sei. Mit Einspracheentscheid vom 2. September 2003 hielt die SUVA an ihrer Verfügung fest.
B. Beschwerdeweise liess B._ beantragen, der Einspracheentscheid vom 2. September 2003 sei aufzuheben und die SUVA sei zu verpflichten, sämtliche gesetzlichen Leistungen aus dem Arbeitsunfall vom 14. September 1999 zu erbringen. Das Verwaltungsgericht des Kantons Schwyz zog vom Kantonsgericht die Akten im Zivilprozess zwischen B._ und N._ bei und gab den Parteien Gelegenheit zur Stellungnahme. Aufgrund dieser Akten verneinte das Verwaltungsgericht des Kantons Schwyz ein Arbeitsverhältnis zwischen B._ und N._ zum Zeitpunkt des Unfalls am 14. September 1999 und betrachtete dies als eine neue erhebliche Tatsache, die es rechtfertige, die damals nach dem Unfall erfolgte Anerkennung der Leistungspflicht in Revision zu ziehen und die Leistungspflicht mangels Arbeitnehmerstatus nachträglich abzuerkennen. Demnach wies es die Beschwerde vom 2. September 2003 ab (Entscheid vom 22. März 2004).
B. Beschwerdeweise liess B._ beantragen, der Einspracheentscheid vom 2. September 2003 sei aufzuheben und die SUVA sei zu verpflichten, sämtliche gesetzlichen Leistungen aus dem Arbeitsunfall vom 14. September 1999 zu erbringen. Das Verwaltungsgericht des Kantons Schwyz zog vom Kantonsgericht die Akten im Zivilprozess zwischen B._ und N._ bei und gab den Parteien Gelegenheit zur Stellungnahme. Aufgrund dieser Akten verneinte das Verwaltungsgericht des Kantons Schwyz ein Arbeitsverhältnis zwischen B._ und N._ zum Zeitpunkt des Unfalls am 14. September 1999 und betrachtete dies als eine neue erhebliche Tatsache, die es rechtfertige, die damals nach dem Unfall erfolgte Anerkennung der Leistungspflicht in Revision zu ziehen und die Leistungspflicht mangels Arbeitnehmerstatus nachträglich abzuerkennen. Demnach wies es die Beschwerde vom 2. September 2003 ab (Entscheid vom 22. März 2004).
C. B._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des kantonalen Entscheides und des Einsprachentscheides "sei die Leistungspflicht der SUVA gegenüber dem Einsprecher bezüglich des Unfallereignisses vom 14. September 1999 festzustellen".
Die SUVA schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Das Kantonsgericht stellte mit Entscheid vom 5. August 2002 fest, dass zwischen dem Beschwerdeführer und N._ im Unfallzeitpunkt (14. September 1999) kein Arbeitsverhältnis bestand. Es stützte diese Schlussfolgerung in tatsächlicher Hinsicht auf das fehlende Unterordnungsverhältnis, die Nicht-Einordnung in die Betriebsorganisation des N._ sowie die übereinstimmenden Aussagen, wonach der Beschwerdeführer bestimmte, welche Umbauarbeiten vorgenommen wurden. Streitig und zu prüfen ist, ob darin neue erhebliche Tatsachen zu erblicken sind, die gemäss <ref-law> eine Revision der von der SUVA jahrelang erbrachten Leistungen rechtfertigen. Nach der Rechtsprechung sind die Grundsätze zur prozessualen Revision auch auf faktisches Verwaltungshandeln anwendbar, sofern dieses rechtsbeständig geworden ist (<ref-ruling> Erw. 1.2). Dieser Grundsatz gilt auch unter <ref-law>.
1.2 Nicht zu überprüfen ist eine allfällige Rückforderung bereits bezogener Leistungen, da die SUVA in der Verfügung vom 13. Juni 2003 dem Beschwerdeführer lediglich mitteilte, die erbrachten Leistungen primär von der zuständigen Krankenkasse zurückzufordern und sich bezüglich den nicht einbringbaren Leistungen weitere Schritte vorzubehalten. Am 20. Oktober 2003 verfügte sie dann auch die Rückforderung von Taggeldleistungen, welche Gegenstand eines separaten Verfahrens bildet. Zu prüfen ist allein, ob die Vorinstanz zu Recht erkannte, dass die SUVA gestützt auf <ref-law> (prozessuale Revision) auf die Anerkennung ihrer Leistungspflicht zurückkam.
1.2 Nicht zu überprüfen ist eine allfällige Rückforderung bereits bezogener Leistungen, da die SUVA in der Verfügung vom 13. Juni 2003 dem Beschwerdeführer lediglich mitteilte, die erbrachten Leistungen primär von der zuständigen Krankenkasse zurückzufordern und sich bezüglich den nicht einbringbaren Leistungen weitere Schritte vorzubehalten. Am 20. Oktober 2003 verfügte sie dann auch die Rückforderung von Taggeldleistungen, welche Gegenstand eines separaten Verfahrens bildet. Zu prüfen ist allein, ob die Vorinstanz zu Recht erkannte, dass die SUVA gestützt auf <ref-law> (prozessuale Revision) auf die Anerkennung ihrer Leistungspflicht zurückkam.
2. 2.1 Wie im angefochtenen Entscheid zutreffend festgehalten wird, bestimmt sich das Verfahren seit dem In-Kraft-Treten des ATSG (1. Januar 2003) nach dem neuen Recht, weshalb die formellen Bestimmungen (Art. 27bis <ref-law>) anwendbar sind (<ref-ruling> Erw. 3.2). Zu ergänzen ist, dass der Grundsatz, wonach die Sozialversicherungsgerichte an die Beurteilung durch andere Gerichte grundsätzlich nicht gebunden sind (RKUV 2003 Nr. U 485 S. 253), unter der Herrschaft des ATSG prinzipiell weiterhin Geltung hat.
2.2 Das Eidgenössische Versicherungsgericht hat demzufolge im Rahmen der Prüfung der Verwaltungsgerichtsbeschwerde selbstständig zu beurteilen, ob die SUVA sich im Sinne von <ref-law> auf erhebliche neue Tatsachen zu berufen vermag. Es ist zu prüfen, ob die ursprüngliche Annahme, der Beschwerdeführer sei zum Zeitpunkt des Unfalls obligatorisch versicherter Arbeitnehmer des N._ im Sinne von <ref-law> gewesen, was die Leistungspflicht der SUVA begründen würde, sachverhaltswidrig ist. Der Beschwerdeführer macht geltend, dass N._ nur deshalb vor dem Kantonsgericht Zug ausgesagt habe, es sei nie ein Arbeitsvertrag abgeschlossen worden, um nicht aus Arbeitsvertrag leisten zu müssen. Deshalb könne diese Aussage nicht dahingehend umgedeutet werden, N._ habe die falschen Angaben gegenüber der SUVA zugegeben.
Im Rahmen des arbeitsrechtlichen Verfahrens vor dem Kantonsgericht wurden verschiedene Abklärungen und Zeugeneinvernahmen durchgeführt. Anhand dieser vorliegenden umfangreichen Akten und nicht nur alleine infolge der Aussage des N._ ist ersichtlich, dass der Beschwerdeführer nicht Arbeitnehmer des N._, sondern als faktischer Bauherr auf eigene Kosten und Gefahr an den Umbauarbeiten beteiligt war. Der Beschwerdeführer und N._ waren Geschäftspartner, die gemeinsam den Umbau der Liegenschaft realisieren wollten. Diesbezüglich kann auf die ausführlichen zutreffenden Erwägungen der Vorinstanz verwiesen werden.
Im Rahmen des arbeitsrechtlichen Verfahrens vor dem Kantonsgericht wurden verschiedene Abklärungen und Zeugeneinvernahmen durchgeführt. Anhand dieser vorliegenden umfangreichen Akten und nicht nur alleine infolge der Aussage des N._ ist ersichtlich, dass der Beschwerdeführer nicht Arbeitnehmer des N._, sondern als faktischer Bauherr auf eigene Kosten und Gefahr an den Umbauarbeiten beteiligt war. Der Beschwerdeführer und N._ waren Geschäftspartner, die gemeinsam den Umbau der Liegenschaft realisieren wollten. Diesbezüglich kann auf die ausführlichen zutreffenden Erwägungen der Vorinstanz verwiesen werden.
3. 3.1 Nach <ref-law> müssen formell rechtskräftige Verfügungen und Einspracheentscheide in Revision gezogen werden, wenn die versicherte Person oder der Versicherungsträger nach deren Erlass erhebliche neue Tatsachen entdeckt oder Beweismittel auffindet, deren Beibringung zuvor nicht möglich war. Die zu Art. 137 lit. b OG erarbeiteten Grundsätze (<ref-ruling> Erw. 5b) gelten auch für <ref-law>.
Als "neu" gelten Tatsachen, welche sich bis zum Zeitpunkt, da im Hauptverfahren noch tatsächliche Vorbringen prozessual zulässig waren, verwirklicht haben, jedoch der um Revision ersuchenden Person trotz hinreichender Sorgfalt nicht bekannt waren. Die neuen Tatsachen müssen ferner erheblich sein, d.h. sie müssen geeignet sein, die tatbeständliche Grundlage des angefochtenen Urteils zu verändern und bei zutreffender rechtlicher Würdigung zu einer andern Entscheidung zu führen. Beweismittel haben entweder dem Beweis der die Revision begründenden neuen erheblichen Tatsachen oder dem Beweis von Tatsachen zu dienen, die zwar im früheren Verfahren bekannt gewesen, aber zum Nachteil der gesuchstellenden Person unbewiesen geblieben sind. Sollen bereits vorgebrachte Tatsachen mit den neuen Mitteln bewiesen werden, so hat die Person auch darzutun, dass sie die Beweismittel im früheren Verfahren nicht beibringen konnte. Entscheidend ist ein Beweismittel, wenn angenommen werden muss, es hätte zu einem andern Urteil geführt, falls das Gericht im Hauptverfahren hievon Kenntnis gehabt hätte. Ausschlaggebend ist, dass das Beweismittel nicht bloss der Sachverhaltswürdigung, sondern der Sachverhaltsermittlung dient. Es genügt daher beispielsweise nicht, dass ein neues Gutachten den Sachverhalt anders bewertet; vielmehr bedarf es neuer Elemente tatsächlicher Natur, welche die Entscheidungsgrundlagen als objektiv mangelhaft erscheinen lassen. Für die Revision eines Entscheides genügt es nicht, dass die Gutachterin oder der Gutachter aus den im Zeitpunkt des Haupturteils bekannten Tatsachen nachträglich andere Schlussfolgerungen zieht als das Gericht. Auch ist ein Revisionsgrund nicht schon gegeben, wenn das Gericht bereits im Hauptverfahren bekannte Tatsachen möglicherweise unrichtig gewürdigt hat. Notwendig ist vielmehr, dass die unrichtige Würdigung erfolgte, weil für den Entscheid wesentliche Tatsachen nicht bekannt waren oder unbewiesen blieben (<ref-ruling> Erw. 5b, 110 V 141 Erw. 2, 293 Erw. 2a, 108 V 171 Erw. 1; vgl. auch <ref-ruling>).
3.2 Anhand der Unfallmeldung des N._ vom 16. September 1999, dessen Angaben über geleistete Arbeitsstunden vom 3. September 1999 und 30. September 1999 sowie dessen Aussagen vom 24. November 1999 ging die SUVA anfänglich davon aus, dass der Beschwerdeführer ein Arbeitnehmer im Sinne von <ref-law> sei. Alle diese behaupteten Tatsachen entsprechen indes nicht der Wirklichkeit, wie das Verwaltungsgericht des Kantons Schwyz zutreffend dartut. Der tatsächliche zutreffende Sachverhalt schliesst aus, zwischen dem Beschwerdeführer und N._ ein Arbeitsverhältnis anzunehmen (vgl. Erw. 2.2 hievor). Entgegen der Auffassung des Beschwerdeführers liegen klar neue Tatsachen im Sinne von <ref-law> vor, da der SUVA diese Sachverhaltselemente im Zeitpunkt der Leistungsanerkennung wegen falschen Aussagen sowie unrichtigen Angaben und damit in unverschuldeter Weise nicht bekannt waren. Die SUVA musste sich auf die Angaben des N._ abstützen, weil beim Beschwerdeführer nach dem Unfall (infolge der sehr schweren Verletzungen) keine zusätzlichen Abklärungen getroffen werden konnten.
3.3 Obligatorisch versichert sind nach <ref-law> die in der Schweiz beschäftigten Arbeitnehmer (zum Begriff vgl. Urteil M. vom 15. Dezember 2000, U 85/00). Daher hat die nachträgliche prozessual revisionsrechtlich gebotene Feststellung, dass der Beschwerdeführer im Unfallzeitpunkt nicht Arbeitnehmer war, zur Folge, dass er nicht obligatorisch unfallversichert war, was der bisherigen und einer künftigen Leistungserbringung die Grundlage entzieht.
3.4 Der Beschwerdeführer wendet noch ein, die SUVA sei grundsätzlich an ihren Entscheid vom November 1999 gebunden, da sie die Deckungsfrage umfassend geprüft und ihm aufgrund dieser Erhebungen die gesetzlichen Versicherungsleistungen zugesprochen habe. Dieser Auffassung kann nicht zugestimmt werden. Gemäss <ref-law> ist das Revisionsverfahren bei Vorliegen eines Revisionsgrundes von Amtes wegen einzuleiten (Kieser Ueli, ATSG-Kommentar, Zürich 2003, Art. 53 Rz 14). Es liegt mithin nicht im Ermessen der Versicherungsträgerin, ob sie eine Revision vornehmen soll oder nicht. Ein Revisionsgrund (eine neue erhebliche Tatsache) ist gegeben, sodass die SUVA verpflichtet war, das Revisionsverfahren einzuleiten.
3.4 Der Beschwerdeführer wendet noch ein, die SUVA sei grundsätzlich an ihren Entscheid vom November 1999 gebunden, da sie die Deckungsfrage umfassend geprüft und ihm aufgrund dieser Erhebungen die gesetzlichen Versicherungsleistungen zugesprochen habe. Dieser Auffassung kann nicht zugestimmt werden. Gemäss <ref-law> ist das Revisionsverfahren bei Vorliegen eines Revisionsgrundes von Amtes wegen einzuleiten (Kieser Ueli, ATSG-Kommentar, Zürich 2003, Art. 53 Rz 14). Es liegt mithin nicht im Ermessen der Versicherungsträgerin, ob sie eine Revision vornehmen soll oder nicht. Ein Revisionsgrund (eine neue erhebliche Tatsache) ist gegeben, sodass die SUVA verpflichtet war, das Revisionsverfahren einzuleiten.
4. Da es um Versicherungsleistungen geht, sind gemäss Art. 134 OG keine Gerichtskosten zu erheben.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Gesundheit (BAG) zugestellt.
Luzern, 25. Oktober 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: