Sachverhalt: Sachverhalt: A. Der 1941 geborene, frühpensionierte G._ wurde im November 2001 von seiner Ehefrau geschieden und dabei unter anderem zur unbefristeten monatlichen Zahlung eines Unterhaltsbeitrages verpflichtet, der 50 % der monatlichen Altersrente der Personalvorsorgestiftung der früheren Arbeitgeberin entspricht. Mit Verfügungen vom 15. August 2003 erhob die Ausgleichskasse Schwyz von G._ Beiträge als Nichterwerbstätiger in Höhe von Fr. 5097.20 für das Jahr 2001 und Fr. 8374.70 für das Jahr 2003. Bemessungsgrundlage bildete das jährliche Renteneinkommen und das Reinvermögen am 31. Dezember. Die an die geschiedene Ehefrau bezahlten Unterhaltsbeiträge wurden vom Renteneinkommen des Versicherten nicht in Abzug gebracht. Die gegen die beiden Verfügungen erhobenen Einsprachen wies die Ausgleichskasse mit Entscheid vom 5. Dezember 2003 ab. A. Der 1941 geborene, frühpensionierte G._ wurde im November 2001 von seiner Ehefrau geschieden und dabei unter anderem zur unbefristeten monatlichen Zahlung eines Unterhaltsbeitrages verpflichtet, der 50 % der monatlichen Altersrente der Personalvorsorgestiftung der früheren Arbeitgeberin entspricht. Mit Verfügungen vom 15. August 2003 erhob die Ausgleichskasse Schwyz von G._ Beiträge als Nichterwerbstätiger in Höhe von Fr. 5097.20 für das Jahr 2001 und Fr. 8374.70 für das Jahr 2003. Bemessungsgrundlage bildete das jährliche Renteneinkommen und das Reinvermögen am 31. Dezember. Die an die geschiedene Ehefrau bezahlten Unterhaltsbeiträge wurden vom Renteneinkommen des Versicherten nicht in Abzug gebracht. Die gegen die beiden Verfügungen erhobenen Einsprachen wies die Ausgleichskasse mit Entscheid vom 5. Dezember 2003 ab. B. Die von G._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 7. April 2004 ab. B. Die von G._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 7. April 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde beantragt G._ die Anerkennung der Abzugsfähigkeit der an die geschiedene Ehefrau bezahlten Unterhaltsbeiträge. Vorinstanz und Ausgleichskasse schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.