Sachverhalt:
A.
Anfangs 2016 zog A._ in den Kanton Schaffhausen, nachdem er zuvor als "Weltenbummler" während Jahren über keinen festen Wohnsitz verfügt hatte. Am 23. Mai 2019 meldete er sich beim Sozialversicherungsamt Schaffhausen, AHV-Ausgleichskasse (nachfolgend: Ausgleichskasse), als Nichterwerbstätiger an. Die Ausgleichskasse verfügte am 25. Juni 2019 Akontobeiträge (einschliesslich Verwaltungskosten) für die Jahre 2016 bis 2019 in der Höhe von insgesamt Fr. 98'674.- (je Fr. 24'617.- für die Jahre 2016 bis 2018 und Fr. 24'823.- für das Jahr 2019) sowie Verzugszinsen für die Jahre 2016 bis 2018 in der Höhe von insgesamt Fr. 5'488.-. Daran hielt sie mit Einspracheentscheid vom 10. Juli 2019 fest.
B.
Die hiegegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 30. Dezember 2020 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei der Entscheid des Obergerichts des Kantons Schaffhausen aufzuheben und die verfügten Verzugszinsen für die Akontobeiträge der Jahre 2016 bis 2018 in der Höhe von Fr. 5'488.- auf Fr. 0.- zu reduzieren. Eventualiter sei der Entscheid aufzuheben und mit der Anweisung an die Vorinstanz zurückzuweisen, eine öffentliche Verhandlung durchzuführen.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden.
2.
Der Beschwerdeführer rügt in formeller Hinsicht, der vorinstanzliche Verzicht auf eine öffentliche Verhandlung verstosse gegen Art. 6 Ziff. 1 EMRK.
2.1. Nach Art. 6 Ziff. 1 EMRK hat jedermann Anspruch darauf, dass seine Sache in billiger Weise öffentlich und innerhalb einer angemessenen Frist von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht gehört wird, das über zivilrechtliche Ansprüche und Verpflichtungen oder über die Stichhaltigkeit der gegen ihn erhobenen strafrechtlichen Anklage zu entscheiden hat. Die Öffentlichkeit des Verfahrens soll dazu beitragen, dass die Garantie auf ein "faires Verfahren" tatsächlich umgesetzt wird (<ref-ruling>). Vorliegend sind zivilrechtliche Ansprüche im Sinne dieser Norm streitig (<ref-ruling> E. 2a). Das kantonale Gericht, welchem es primär obliegt, die Öffentlichkeit der Verhandlung zu gewährleisten (<ref-ruling> E. 1; <ref-ruling> E. 3), hat bei Vorliegen eines klaren und unmissverständlichen Parteiantrags grundsätzlich eine öffentliche Verhandlung durchzuführen (<ref-ruling> E. 1; SVR 2014 UV Nr. 11 S. 37, 8C_273/2013 E. 1.2 mit Hinweisen). Ein während des ordentlichen Schriftenwechsels gestellter Antrag gilt dabei als rechtzeitig (<ref-ruling>; vgl. zum Ganzen: SVR 2017 UV Nr. 30 S. 99, 8C_723/2016 E. 2.1 und 2.2 mit Hinweisen).
2.2. Von einer ausdrücklich beantragten öffentlichen Verhandlung kann abgesehen werden, wenn der Antrag der Partei als schikanös erscheint oder auf eine Verzögerungstaktik schliessen lässt und damit dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwiderläuft oder sogar rechtsmissbräuchlich ist. Gleiches gilt, wenn sich ohne öffentliche Verhandlung mit hinreichender Zuverlässigkeit erkennen lässt, dass eine Beschwerde offensichtlich unbegründet oder unzulässig ist. Als weiteres Motiv für die Verweigerung einer beantragten öffentlichen Verhandlung fällt die hohe Technizität der zur Diskussion stehenden Materie in Betracht, was etwa auf rein rechnerische, versicherungsmathematische oder buchhalterische Probleme zutrifft, wogegen andere dem Sozialversicherungsrecht inhärente Fragestellungen materiell- oder verfahrensrechtlicher Natur wie die Würdigung medizinischer Gutachten in der Regel nicht darunterfallen. Schliesslich kann das kantonale Gericht von einer öffentlichen Verhandlung absehen, wenn es auch ohne eine solche aufgrund der Akten zum Schluss gelangt, dass dem materiellen Rechtsbegehren der bezüglich der Verhandlung Antrag stellenden Partei zu entsprechen ist (<ref-ruling> E. 1 mit Hinweis auf <ref-ruling> E. 3b/ee und 3b/ff.; vgl. zum Ganzen: SVR 2017 UV Nr. 30 S. 99, 8C_723/2016 E. 2.3 mit Hinweisen).
3.
Die Vorinstanz stellte dem Beschwerdeführer am 3. Oktober 2019 die Beschwerdeantwort der Ausgleichskasse zu. Das kantonale Gericht teilte mit, aus seiner Sicht sei der Schriftenwechsel damit abgeschlossen. Allfällige Bemerkungen seien bis zum 17. Oktober 2019 einzureichen, wobei Stillschweigen als Verzicht ausgelegt werde. Am 7. Oktober 2019 beantragte der Beschwerdeführer, seinen Standpunkt mündlich darlegen zu können. Die Vorinstanz liess im angefochtenen Entscheid offen, ob dieses Begehren rechtzeitig erfolgt und ob es als Antrag auf Durchführung einer konventionskonformen Verhandlung oder lediglich als Beweisantrag (auf persönliche Befragung) zu verstehen sei. So oder anders sei angesichts der hohen Technizität der zur Diskussion stehenden Fragen auf eine öffentliche Verhandlung zu verzichten.
3.1. Den vorinstanzlichen Feststellungen folgend stellte der Beschwerdeführer den Antrag auf mündliche Verhandlung im Rahmen des ihm gewährten Replikrechts. Dieses während des ordentlichen Schriftenwechsels gestellte Begehren erfolgte somit rechtzeitig (vgl. E. 2.1 hievor). Der nicht anwaltlich vertretene Beschwerdeführer begründete seinen Antrag damit, dass er die Möglichkeit haben wolle, seine Ausführungen im Rahmen einer mündlichen Verhandlung zu ergänzen, da er eher ein "Schnörri" als ein "Schriibi" sei und nur mündlich eine Chance sehe, seinen Standpunkt verständlich darzulegen. Von einem ausschliesslich auf eine Beweisabnahme gerichteten Begehren, worauf der Öffentlichkeitsgrundsatz keinen Anspruch einräumen würde (vgl. Urteil 8C_221/2020 vom 2. Juli 2020 E. 3.2 mit Hinweis), kann unter diesen Umständen nicht ausgegangen werden (vgl. auch Urteil 9C_359/2011 vom 25. August 2011 E. 2.4). Im Übrigen wäre das kantonale Gericht zur Rückfrage beim Beschwerdeführer gehalten gewesen, wenn es Zweifel an der Ernsthaftigkeit des Antrags auf eine öffentliche Verhandlung gehabt hätte (<ref-ruling> E. 2e/bb; Urteil 8C_495/2020 vom 6. Januar 2021 E. 3.2).
3.2. Von der regelrecht beantragten öffentlichen Verhandlung hätte die Vorinstanz folglich nur bei Vorliegen von in E. 2.2 hievor genannten Gründen absehen dürfen. Das kantonale Gericht hielt diesbezüglich fest, angesichts der hohen Technizität der sich stellenden Rechtsfragen der Erhebung von Verzugszinsen sowie von Verwaltungskostenbeiträgen auf im Grundsatz unbestrittene AHV-Beiträge sei auf die Durchführung einer öffentlichen Verhandlung zu verzichten. Diese Begründung verfängt nicht. Wie der Beschwerdeführer richtig einwendet, ging es im kantonalen Verfahren um keine Frage mit hoher Technizität. Insbesondere stellten sich keine rein rechnerischen, versicherungsmathematischen oder buchhalterischen Probleme, zu denen die Parteien mündlich nichts Substanzielles hätten beitragen können. Im Gegenteil waren die rein rechnerischen Operationen gleichermassen einfach wie unbestritten. Die Einwände des Beschwerdeführers im kantonalen Verfahren beschlugen denn auch einzig seine grundsätzliche Pflicht zur Bezahlung von Verzugszinsen und Verwaltungsbeiträgen auf in der Höhe unbestrittene, aber erst Jahre später in Rechnung gestellte AHV-Beiträge. Das kantonale Gericht durfte somit nicht wegen hoher Technizität der Materie ausnahmsweise von der Durchführung einer öffentlichen Verhandlung absehen. Es sind auch keine anderen Gründe erkenntlich, welche diesen Schluss rechtfertigten. Weder ist der Antrag des Beschwerdeführers schikanös, noch läuft er dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwider. Sodann kann das Rechtsmittel nicht als offensichtlich unbegründet oder unzulässig bezeichnet werden, was denn auch seitens des kantonalen Gerichts nicht angenommen wurde. Dieses hat den materiellen Rechtsbegehren des Beschwerdeführers offensichtlich auch nicht entsprochen.
4.
Zusammenfassend bestand für das kantonale Gericht keine Veranlassung und keine Rechtfertigung, von der grundsätzlichen Verpflichtung zur Durchführung einer öffentlichen Verhandlung ausnahmsweise abzuweichen. Indem die Vorinstanz dennoch auf eine solche verzichtete, wurde der in Art. 6 Ziff. 1 EMRK gewährleisteten Verfahrensgarantie (vgl. auch <ref-law> und <ref-law>) nicht Rechnung getragen. Es ist daher unumgänglich, die Sache an das kantonale Gericht zurückzuweisen, damit es diesen Verfahrensmangel behebt und die vom Beschwerdeführer verlangte öffentliche Verhandlung durchführt. Danach wird es über die Beschwerde materiell neu befinden. Auf einen Schriftenwechsel ist angesichts dieses Verfahrensausgangs, der einen formellen Hintergrund aufweist, und aus prozessökonomischen Gründen zu verzichten.
5.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdegegner aufzuerlegen (<ref-law>). Trotz des auf Grund der angeordneten Rückweisung (teilweise) Obsiegens steht dem Beschwerdeführer, da nicht anwaltlich vertreten, keine Parteientschädigung nach <ref-law> zu.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Obergerichts des Kantons Schaffhausen vom 30. Dezember 2020 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdegegner auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. September 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Williner