Sachverhalt:
A.
A.a. Mit Verfügungen vom 30. Dezember 2019 erhob die Ausgleichskasse Schwyz vom 1967 geborenen A._ provisorische Nichterwerbstätigenbeiträge von Fr. 7547.55 für das Jahr 2018 (AHV/IV/EO-Beiträge von Fr. 8712.50, abzüglich Beiträge aus Erwerbseinkommen von Fr. 1524.35, zuzüglich Verwaltungskosten von Fr. 359.40) und von Fr. 9148.15 für das Jahr 2019 (AHV/IV/EO-Beiträge von Fr. 8712.50, zuzüglich Verwaltungskosten von Fr. 435.65). Gleichzeitig forderte sie von ihm Verzugszinsen betreffend die für das Jahr 2018 geschuldeten Beiträge.
A.b. Nachdem sich herausgestellt hatte, dass die Verfügungen A._ nicht zugegangen waren, versandte die Verwaltung die Verfügungen erneut. Die von ihm daraufhin fristgerecht erhobene Einsprache lehnte sie ab (Entscheid vom 10. September 2020).
B.
Beschwerdeweise liess A._ die Aufhebung des Einspracheentscheides beantragen. Eventualiter sei die Angelegenheit an die Kasse zurückzuweisen für zusätzliche Sachabklärungen und den Erlass einer neuen Verfügung. Mit Entscheid vom 18. März 2021 wies das Verwaltungsgericht des Kantons Schwyz die Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, in Aufhebung des kantonalen und des Einspracheentscheides seien die Verfügungen vom 30. Dezember 2019 aufzuheben. Zudem erneuert er den im kantonalen Verfahren gestellten Eventualantrag.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; zum Ganzen <ref-ruling> E. 4).
2.
Die Vorinstanz hat die massgebenden gesetzlichen Bestimmungen und die einschlägige Rechtsprechung in ihrem Entscheid zutreffend wiedergegeben. Insbesondere wurde richtig dargelegt, dass nach <ref-law> in Verbindung mit <ref-law> Personen, die nicht dauernd voll erwerbstätig sind (d.h. entweder nicht während mindestens neun Monaten pro Kalenderjahr [nicht dauernd] oder nicht während mindestens der halben üblichen Arbeitszeit [nicht voll]; vgl. dazu Rz. 2035 und 2039 der Wegleitung des BSV über die Beiträge der Selbständigerwerbenden und Nichterwerbstätigen in der AHV, IV und EO [WSN]; <ref-ruling> E. 1.2 mit Hinweisen), die Beiträge wie Nichterwerbstätige leisten, wenn ihre Beiträge vom Erwerbseinkommen zusammen mit denen ihres Arbeitgebers in einem Kalenderjahr nicht mindestens der Hälfte des Beitrages nach <ref-law> entsprechen (Satz 1). Ihre Beiträge vom Erwerbseinkommen müssen auf jeden Fall den Mindestbeitrag nach <ref-law> erreichen (Satz 2). Darauf wird verwiesen.
3.
Nach den verbindlichen Sachverhaltsfeststellungen im angefochtenen Entscheid amtete der Beschwerdeführer in den hier streitigen Jahren 2018 und 2019 als Verwaltungsratspräsident und Geschäftsführer der von ihm im Jahr 2017 neu gegründeten B._ AG, von welcher er 50 % des Aktienkapitals hielt. Für seine Tätigkeit als Geschäftsführer vereinbarte er gemäss Arbeitsvertrag vom 12. Dezember 2017 ein Gehalt nach Arbeitsaufwand bei einem Stundenansatz von Fr. 150.-, mindestens aber Fr. 2000.- pro Monat. Der von ihm bezogene Lohn belief sich allerdings im Jahr 2018 nur auf Fr. 14'871.- und 2019 auf Fr. 16'907.65.
4.
Es ist unbestritten, dass der Beschwerdeführer in beiden Jahren dauernd, d.h. während mindestens neun Monaten pro Kalenderjahr für die B._ AG arbeitete. Streitig und zu prüfen ist demgegenüber, ob er auch voll erwerbstätig war. Anders als der Beschwerdeführer verneinten die Ausgleichskasse und die Vorinstanz die Frage übereinstimmend, wobei sie auf unterschiedlichen Wegen zu diesem Ergebnis gelangten.
4.1. Die Ausgleichskasse ermittelte anhand der bezogenen Löhne und des vereinbarten Stundenansatzes Jahrespensen von 99 (2018) bzw. 122 Arbeitsstunden (2019) und schloss daraus auf eine nicht volle Erwerbstätigkeit. Selbst wenn der Beschwerdeführer, wie er geltend mache, 100 % gearbeitet habe, könne dieser Zeitaufwand rechtsprechungsgemäss nicht berücksichtigt werden, weil ein offensichtliches Missverhältnis zwischen Leistung und Gegenleistung vorliege und damit insoweit von fehlender Erwerbsabsicht auszugehen sei (vgl. <ref-ruling> E. 2.2.3; Urteil 9C_699/2018 vom 25. März 2019 E. 3.2). Da die Beiträge vom Erwerbseinkommen tiefer seien als die Hälfte der Beiträge als Nichterwerbstätiger, habe der Beschwerdeführer Beiträge wie ein Nichterwerbstätiger zu leisten.
4.2. Die Vorinstanz erwog, die tiefe Entlöhnung in den Jahren 2018 und 2019 bedeute nicht per se eine fehlende Gewinnerzielungsabsicht bzw. eine nicht volle Erwerbstätigkeit, habe sich doch die B._ AG bis ins Jahr 2022 in einer Aufbauphase befunden. Es sei zu prüfen, in welchem Pensum die Arbeitsleistung des Beschwerdeführers, der dazu inkonsistente Angaben mache, zu veranschlagen sei: Im Rahmen des Einspracheverfahrens habe er zunächst eine 100 %-Anstellung vorgebracht und später geltend gemacht, in der achtmonatigen Hauptsaison von März bis Oktober mehr als 100 % und in den verbleibenden vier Monaten rund 20 % gearbeitet zu haben, was einem durchschnittlichen Jahrespensum von mindestens rund 73 % entspreche. Im kantonalen Verfahren gehe er in unzulässiger Weise gestützt auf die von ihm geleisteten Arbeitstage von 63.7 % für 2018 und 66.9 % für 2019 aus. Soweit der Beschwerdeführer sein Pensum nun mit Arbeitsrapporten stundenmässig quantifiziere, ergebe sich ein solches von 46.1 % für 2018 und von 58.1 % für 2019, womit von vornherein nur für das Jahr 2019 eine volle (d.h. mehr als 50 % betragende) Erwerbstätigkeit zur Diskussion stehe. Die zum Beweis eingereichten Arbeitsrapporte wiesen allerdings erhebliche Mängel auf, indem vorab eine Datierung als mögliches Indiz für die Echtzeitlichkeit fehle, sodann nicht konsequent zwischen Arbeitstagen und -stunden differenziert werde, Stunden ohne jegliches Stichwort oder mit seltsamen Bezeichnungen vermerkt und rechnerische Inkonsequenzen bzw. Fehler feststellbar seien. Von den beschwerdeführerseits ermittelten 995 Stunden für 2019 könnten allein schon die unter der Spalte "Offerte" pauschal aufgelisteten 313 Stunden mangels jeglicher Konkretisierung nicht berücksichtigt werden. Zudem seien für Juli 2019 insgesamt 262 Stunden und damit mehr als ein Viertel des Jahrestotals verbucht, was als Aufwand in der Hauptferienzeit unglaubwürdig erscheine. Es könne in diesem Jahr deshalb maximal von knapp 700 Stunden bzw. einem 37 %-Pensum ausgegangen werden. Dieselben Überlegungen würden auch für 2018 gelten. Für beide Jahre sei damit - auch unter Berücksichtigung der Tatsache, dass sich das Unternehmen erst in der Aufbauphase befand - keine volle Erwerbstätigkeit erstellt. Vor diesem Hintergrund sei der Schluss der Ausgleichskasse auf eine nicht volle Erwerbstätigkeit nicht zu beanstanden.
4.3. In der Beschwerde wird der Vorinstanz eine Verletzung des rechtlichen Gehörs vorgeworfen, indem sie vor einer überraschenden Würdigung von Recht oder Tatsache Gelegenheit zur Stellungnahme hätte einräumen müssen. Rechtsprechungsgemäss haben die Parteien indessen grundsätzlich keinen Anspruch darauf, zur rechtlichen Würdigung der durch sie in den Prozess eingeführten Tatsachen angehört zu werden (<ref-ruling> E. 1a, Urteile 8C_294/2014 vom 23. September 2014 E. 5.1; 1C_584/2012 vom 4. Juli 2013 E. 4.1). Eine Ausnahme besteht für den Fall einer Rechtsanwendung, mit der eine Partei nicht gerechnet hat und auch nicht hat rechnen müssen (<ref-ruling> E. 5b/bb; Urteil 9C_417/2017 vom 19. April 2018 E. 4.4.1), welcher hier nicht vorliegt, nachdem es im Rechtsstreit von Anfang an um die Frage ging, ob der Beschwerdeführer in den Jahren 2018 und 2019 aufgrund des von ihm ausgeübten Pensums als nicht dauernd voll erwerbstätig zu qualifizieren ist. Ebenso wenig kann eine Verletzung des Gehörsanspruchs darin erblickt werden, dass die Vorinstanz den Beschwerdeführer in Bezug auf ihre im Rahmen der Beweiswürdigung getroffenen Feststellungen nicht vorgängig zur Stellungnahme aufforderte, musste er doch mit einer Überprüfung der in den Arbeitsrapporten aufgelisteten Stunden rechnen (vgl. Urteil 9C_326/2012 vom 2. Juli 2012 E. 4.1.3). Die Rüge entbehrt damit einer Grundlage.
4.4. Was der Beschwerdeführer gegen die vorinstanzliche Würdigung der in den Arbeitsrapporten deklarierten Stunden vorbringt, ist nicht geeignet, die entsprechenden Sachverhaltsfeststellungen als offensichtlich unrichtig oder sonst wie bundesrechtswidrig erscheinen zu lassen (vgl. E. 1). Selbst wenn seine Behauptung zutrifft, dass von der Art der Betriebes her - die B._ AG vermietet schlüsselfertige Klimasysteme - ein Viertel der Jahresarbeitszeit auf den Monat Juli und ein Drittel auf Offerten entfällt, bleiben andere Inkonsistenzen, welche die Beweiskraft der Arbeitsrapporte erheblich schmälern und eine volle Berücksichtigung der für 2019 geltend gemachten 995 Stunden verbieten. Inwiefern sodann in seinem Fall ausnahmsweise Arbeitstage und nicht Arbeitsstunden massgebend sein sollen, ist nicht nachvollziehbar. Es erübrigen sich schliesslich auch Weiterungen zur Frage, ob mit dem kantonalen Gericht von 1900 Stunden als üblicher Jahresarbeitszeit oder mit dem Beschwerdeführer nur von 1848 Stunden auszugehen ist, weil die Schwelle von 50 % so oder anders nicht erreicht wird.
4.5. Soweit der Beschwerdeführer letztinstanzlich ergänzt, die Arbeitsrapporte berücksichtigten nicht, dass er als Mitinhaber des Unternehmens in der Aufbauphase auch zu Hause ständig gearbeitet und auf diese Weise in beiden Jahren zusätzlich je 192 Stunden Homeoffice geleistet habe, handelt es sich um ein unzulässiges neues Vorbringen im Sinne von <ref-law>, sodass schon aus diesem Grund nicht weiter darauf einzugehen ist.
4.6. Bei dieser Sachlage kann offen gelassen werden, ob das Arbeitspensum des Beschwerdeführers in den Jahren 2018 und 2019 mit der Ausgleichskasse anhand der vertraglichen Vereinbarung oder mit der Vorinstanz aufgrund der bereinigten Arbeitsrapporte zu ermitteln ist, weil in beiden Fällen keine volle Erwerbstätigkeit resultiert.
4.7. Zusammenfassend ergibt sich, dass die Vorinstanz kein Bundesrecht verletzte, indem sie den Beschwerdeführer als nicht dauernd voll erwerbstätig qualifizierte (<ref-law> in Verbindung mit Art. 10 Abs. 1 und 3 AHVG) und ihn gestützt auf <ref-law> verpflichtete, Beiträge wie ein Nichterwerbstätiger zu leisten (unter Anrechnung der Beiträge vom Erwerbseinkommen, Art. 28bis Abs. 2 in Verbindung mit <ref-law> und Art. 10 Abs. 3 in fine AHVG).
5.
Entsprechend dem Prozessausgang hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1400.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. Juli 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Keel Baumann