Sachverhalt:
Sachverhalt:
A. Der 1941 geborene, frühpensionierte G._ wurde im November 2001 von seiner Ehefrau geschieden und dabei unter anderem zur unbefristeten monatlichen Zahlung eines Unterhaltsbeitrages verpflichtet, der 50 % der monatlichen Altersrente der Personalvorsorgestiftung der früheren Arbeitgeberin entspricht. Mit Verfügungen vom 15. August 2003 erhob die Ausgleichskasse Schwyz von G._ Beiträge als Nichterwerbstätiger in Höhe von Fr. 5097.20 für das Jahr 2001 und Fr. 8374.70 für das Jahr 2003. Bemessungsgrundlage bildete das jährliche Renteneinkommen und das Reinvermögen am 31. Dezember. Die an die geschiedene Ehefrau bezahlten Unterhaltsbeiträge wurden vom Renteneinkommen des Versicherten nicht in Abzug gebracht. Die gegen die beiden Verfügungen erhobenen Einsprachen wies die Ausgleichskasse mit Entscheid vom 5. Dezember 2003 ab.
A. Der 1941 geborene, frühpensionierte G._ wurde im November 2001 von seiner Ehefrau geschieden und dabei unter anderem zur unbefristeten monatlichen Zahlung eines Unterhaltsbeitrages verpflichtet, der 50 % der monatlichen Altersrente der Personalvorsorgestiftung der früheren Arbeitgeberin entspricht. Mit Verfügungen vom 15. August 2003 erhob die Ausgleichskasse Schwyz von G._ Beiträge als Nichterwerbstätiger in Höhe von Fr. 5097.20 für das Jahr 2001 und Fr. 8374.70 für das Jahr 2003. Bemessungsgrundlage bildete das jährliche Renteneinkommen und das Reinvermögen am 31. Dezember. Die an die geschiedene Ehefrau bezahlten Unterhaltsbeiträge wurden vom Renteneinkommen des Versicherten nicht in Abzug gebracht. Die gegen die beiden Verfügungen erhobenen Einsprachen wies die Ausgleichskasse mit Entscheid vom 5. Dezember 2003 ab.
B. Die von G._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 7. April 2004 ab.
B. Die von G._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 7. April 2004 ab.
C. Mit Verwaltungsgerichtsbeschwerde beantragt G._ die Anerkennung der Abzugsfähigkeit der an die geschiedene Ehefrau bezahlten Unterhaltsbeiträge.
Vorinstanz und Ausgleichskasse schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Streitig und zu prüfen ist einzig die Frage, ob bei der Berechnung der vom nicht erwerbstätigen Versicherten geschuldeten AHV-Beiträge Unterhaltszahlungen, die er an die von ihm geschiedene Ehefrau auszurichten hat, vom Renteneinkommen als Beitragsobjekt in Abzug zu bringen sind. Die kantonale Instanz hat die hier massgebenden gesetzlichen Bestimmungen richtig wiedergegeben. Das Gleiche gilt für die Ausführungen zur Rechtsprechung. Darauf wird verwiesen.
Zu präzisieren ist, dass die vom Beschwerdeführer aufgeworfene Frage aber im Beitragsjahr 2001 noch nicht von Relevanz war, da das Scheidungsurteil frühestens im Dezember 2001 rechtskräftig wurde. Darum wurden die AHV-Beiträge des Beschwerdeführers für das Jahr 2001 nach den für Verheiratete geltenden Vorschriften erhoben (vgl. <ref-ruling> Erw. 3a). Dies geht auch aus dem Vergleich der den beiden angefochtenen Verfügungen zu Grunde gelegten Einkommen und Vermögen hervor.
Zu präzisieren ist, dass die vom Beschwerdeführer aufgeworfene Frage aber im Beitragsjahr 2001 noch nicht von Relevanz war, da das Scheidungsurteil frühestens im Dezember 2001 rechtskräftig wurde. Darum wurden die AHV-Beiträge des Beschwerdeführers für das Jahr 2001 nach den für Verheiratete geltenden Vorschriften erhoben (vgl. <ref-ruling> Erw. 3a). Dies geht auch aus dem Vergleich der den beiden angefochtenen Verfügungen zu Grunde gelegten Einkommen und Vermögen hervor.
2. Im angefochtenen Entscheid ist unter Hinweis auf die Urteile W. und S. vom 4. Februar 2002 (H 233/01 und H 234/01) ausführlich und korrekt zitiert worden, dass das Eidgenössische Versicherungsgericht in <ref-ruling> die Rechtsprechung gemäss EVGE 1960 S. 38 bestätigt hat, wonach Unterhaltszahlungen, welche der geschiedene oder getrennt lebende Versicherte seinem (früheren) Ehepartner zukommen lässt, vom Renteneinkommen (oder vom massgebenden Vermögen) im Sinne von <ref-law> nicht in Abzug gebracht werden können.
Trotz der Rechtsentwicklung im Bereich des Steuerrechts und der in der Lehre geäusserten Kritik liegt kein genügender Grund vor, um von der Rechtsprechung gemäss dem Urteil EVGE 1960 S. 38 abzuweichen. Der Begriff des Renteneinkommens gemäss <ref-law> ist unabhängig vom Begriff der Rente oder des Einkommens im Sinne des Steuerrechts. Auch decken sich die in der AHV zugelassenen Abzüge nicht mit denen des Steuerrechts und insbesondere nicht mit den im DBG vorgesehenen (zu den verschiedenen Punkten siehe Reto Böhi, Der unterschiedliche Einkommensbegriff im Steuerrecht und im Sozialversicherungsrecht und seine Auswirkungen auf die Beitragserhebung, Bern 2001, S. 123 ff. und 257 ff.). Für Nichterwerbstätige stützt sich <ref-law> auf das Renteneinkommen, ohne besondere Abzüge vorzusehen. Dies erklärt sich aus der Tatsache, dass die Abzugsfähigkeit der Unkosten prinzipiell auf Aufwendungen beschränkt ist, die für den Erwerb des Einkommens notwendig sind oder damit unmittelbar verbunden sind (vgl. Walter Ryser/Bernard Rolli, Précis de droit fiscal suisse, 3. Aufl., Bern 1994, S. 157).
Ferner sehen die Bestimmungen der AHV weder für eine noch für mehrere Kategorien von Beitragspflichtigen die Möglichkeit vor, die an den geschiedenen Ehegatten bezahlten Unterhaltsbeiträge vom Einkommen abzuziehen. Fehlt es in diesem Punkt an einer speziellen Bestimmung, so braucht sich die Rechtsentwicklung im Bereich der direkten Bundessteuer und der Steuerharmonisierung nicht zwingend auf die AHV auszuwirken (BGE, a.a.O., Erw. 4d/aa).
Wenn es auch im Allgemeinen stimmt, dass ein Abzug der Unterhaltsbeiträge vom Einkommen des Schuldners seiner wirtschaftlichen Leistungsfähigkeit besser entspricht (vgl. Botschaft des Bundesrats vom 25. Mai 1983 zu den Bundesgesetzen über die Harmonisierung der direkten Steuern der Kantone und Gemeinden sowie über die direkte Bundessteuer, BBl 1983 S. 165), so rechtfertigt es sich trotzdem nicht, die Versicherten bei der Erhebung der AHV-Beiträge je nach Herkunft ihres Einkommens unterschiedlich zu behandeln. Die Tatsache, dass Unterhaltsbeiträge aus Mitteln des Renteneinkommens und/oder des Vermögens bestritten werden, ist an sich kein genügender Grund, um mit Bezug auf andere Beitragspflichtige, namentlich auf Selbstständigerwerbende, welche die Unterhaltsbeiträge an den geschiedenen oder getrennten Ehegatten auf Grund der gegenwärtigen gesetzlichen Ordnung nicht vom massgebenden Erwerbseinkommen abziehen können (vgl. Käser, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl. 1996, S. 230 Rz 10.33), eine Unterscheidung zu treffen (BGE, a.a.O., Erw. 4d/cc). Letztlich hat der Gesetzgeber zu entscheiden, ob im Bereich der AHV die Unterhaltsbeiträge vom Einkommen des Verpflichteten zum Abzug zuzulassen sind (BGE, a.a.O., Erw. 4d/dd).
Wenn es auch im Allgemeinen stimmt, dass ein Abzug der Unterhaltsbeiträge vom Einkommen des Schuldners seiner wirtschaftlichen Leistungsfähigkeit besser entspricht (vgl. Botschaft des Bundesrats vom 25. Mai 1983 zu den Bundesgesetzen über die Harmonisierung der direkten Steuern der Kantone und Gemeinden sowie über die direkte Bundessteuer, BBl 1983 S. 165), so rechtfertigt es sich trotzdem nicht, die Versicherten bei der Erhebung der AHV-Beiträge je nach Herkunft ihres Einkommens unterschiedlich zu behandeln. Die Tatsache, dass Unterhaltsbeiträge aus Mitteln des Renteneinkommens und/oder des Vermögens bestritten werden, ist an sich kein genügender Grund, um mit Bezug auf andere Beitragspflichtige, namentlich auf Selbstständigerwerbende, welche die Unterhaltsbeiträge an den geschiedenen oder getrennten Ehegatten auf Grund der gegenwärtigen gesetzlichen Ordnung nicht vom massgebenden Erwerbseinkommen abziehen können (vgl. Käser, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl. 1996, S. 230 Rz 10.33), eine Unterscheidung zu treffen (BGE, a.a.O., Erw. 4d/cc). Letztlich hat der Gesetzgeber zu entscheiden, ob im Bereich der AHV die Unterhaltsbeiträge vom Einkommen des Verpflichteten zum Abzug zuzulassen sind (BGE, a.a.O., Erw. 4d/dd).
3. Soweit die vom Beschwerdeführer gegen diese Rechtsprechung ins Feld geführten Argumente vorliegend geprüft werden können, dringen sie nicht durch. Zum behaupteten Nachhinken hinter der neuen Steuer- und Scheidungsgesetzgebung ist hier auf die in Erw. 2 zitierte Rechtsprechung zu verweisen, welche nach wie vor Bestand hat. Die vom Beschwerdeführer skizzierten und in ihren finanziellen Auswirkungen für die Versicherung sowie die zum Unterhalt verpflichteten oder berechtigten Personen berechneten Vorschläge zur Anpassung in der Beitragsbemessung betreffen zudem Gesichtspunkte, welche als schwer justiziabel zu betrachten sind, gerade auch in ihren Auswirkungen in anderen Bereichen bspw. des Sozialversicherungs-, des Steuer- oder des Zivilrechts. Eine Änderung der Abzugsregelung wäre auch aus diesem Grund Sache des Gesetzgebers (Erw. 2 am Ende).
3. Soweit die vom Beschwerdeführer gegen diese Rechtsprechung ins Feld geführten Argumente vorliegend geprüft werden können, dringen sie nicht durch. Zum behaupteten Nachhinken hinter der neuen Steuer- und Scheidungsgesetzgebung ist hier auf die in Erw. 2 zitierte Rechtsprechung zu verweisen, welche nach wie vor Bestand hat. Die vom Beschwerdeführer skizzierten und in ihren finanziellen Auswirkungen für die Versicherung sowie die zum Unterhalt verpflichteten oder berechtigten Personen berechneten Vorschläge zur Anpassung in der Beitragsbemessung betreffen zudem Gesichtspunkte, welche als schwer justiziabel zu betrachten sind, gerade auch in ihren Auswirkungen in anderen Bereichen bspw. des Sozialversicherungs-, des Steuer- oder des Zivilrechts. Eine Änderung der Abzugsregelung wäre auch aus diesem Grund Sache des Gesetzgebers (Erw. 2 am Ende).
4. Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Prozessausgang gehen die Kosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 900.- werden dem Beschwerdeführer auferlegt. Sie sind durch den geleisteten Kostenvorschuss von Fr. 1200.- gedeckt; der Differenzbetrag von Fr. 300.- wird zurückerstattet.
2. Die Gerichtskosten von Fr. 900.- werden dem Beschwerdeführer auferlegt. Sie sind durch den geleisteten Kostenvorschuss von Fr. 1200.- gedeckt; der Differenzbetrag von Fr. 300.- wird zurückerstattet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 26. Juli 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: