Sachverhalt:
A.
A.a. Die Staatsanwaltschaft des Kantons Wallis, Amt der Region Oberwallis, erhob am 31. Dezember 2019 beim Kreisgericht Oberwallis für den Bezirk Leuk Anklage gegen A._ wegen sexueller Handlungen mit Kindern, sexueller Nötigung und Schändung zum Nachteil von C._ (geb. 2006).
A.b. Mit Verfügung vom 28. Oktober 2020 wurde das Original eines handschriftlichen Schreibens des mutmasslichen Opfers beigezogen. Den Parteien wurden am 9. November 2020 Kopien zugestellt und angekündigt, das Original könne anlässlich der Hauptverhandlung eingesehen werden. Auf Antrag vom 2. Dezember 2020 wurde dem Verteidiger von A._ das Originaldokument am 3. Dezember zur Einsichtnahme zugeschickt.
A.c. Am 14. Dezember 2020 beantragte A._, es sei der Rechtsanwältin der Privatklägerschaft - dem mutmasslichen Opfer und dessen Eltern - die Postulationsfähigkeit abzusprechen und dem mutmasslichen Opfer eine Vertretungsbeistandschaft für das Strafverfahren zu ernennen. Zur Begründung machte er einen Interessenskonflikt zwischen Eltern und Kind geltend. Mit Verfügung vom 17. Dezember 2020 verneinte die Präsidentin des Bezirksgerichts, B._, einen solchen Interessenskonflikt und wies die Anträge ab.
A.d. Am 23. Dezember 2020 stellte A._ ein Ausstandsgesuch gegen die Präsidentin des Kreisgerichts. Diese leitete das Ausstandsgesuch zusammen mit ihrer Stellungnahme am 5. Januar 2021 an das Kantonsgericht des Kantons Wallis weiter.
B.
Mit Verfügung vom 16. März 2021 wies die Strafkammer des Kantonsgerichts Wallis das Ausstandsgesuch ab (Ziff. 1). Es auferlegte A._ ausserdem die Gerichtsgebühr von Fr. 800.-- (Ziff. 2) und verpflichtete ihn, die Privatklägerschaft für das Beschwerdeverfahren mit insgesamt Fr. 600.-- zu entschädigen (Ziff. 4).
C.
Dagegen gelangt A._ mit Beschwerde in Strafsachen ans Bundesgericht und beantragt, die angefochtene Verfügung sei in ihren Dispositivziffern 1, 2, und 4 aufzuheben und das Ausstandsgesuch gegen die Präsidentin des Kreisgerichts sei gutzuheissen. Eventualiter sei die angefochtene Verfügung aufzuheben und im Sinne der Erwägungen an die Vorinstanz zu neuem Entscheid zurückzuweisen.
Die Präsidentin des Kreisgerichts und das Kantonsgericht des Kantons Wallis verzichten auf eine Stellungnahme. Die Staatsanwaltschaft des Kantons Wallis, Amt der Region Oberwallis, beantragt die Abweisung der Beschwerde. Der Beschwerdeführer hat sich innerhalb der ihm eingeräumten Frist nicht mehr geäussert.

Erwägungen:
1.
1.1. Beim angefochtenen Entscheid handelt es sich um einen selbstständig anfechtbaren, kantonal letztinstanzlichen Zwischenentscheid über den Ausstand (Art. 59 Abs. 1 lit. b i.V.m. <ref-law>). Dagegen steht grundsätzlich die Beschwerde in Strafsachen an das Bundesgericht offen (<ref-law> und <ref-law>). Als beschuldigte Person ist der Beschwerdeführer zur Beschwerde berechtigt (Art. 81 Abs. 1 lit. a und b BGG). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, weshalb auf die Beschwerde grundsätzlich einzutreten ist.
1.2. Der Beschwerdeführer beantragt in seiner Beschwerdefrist die Durchführung eines zweiten Schriftenwechsels. Er begründet diesen Antrag indessen nicht, weshalb darauf nicht eingetreten werden kann (vgl. <ref-law>; Urteil 1C_153/2007 vom 6. Dezember 2007 E. 2.1).
2.
2.1. <ref-law> zählt verschiedene Gründe auf, die zum Ausstand von in einer Strafbehörde tätigen Personen führen. Gemäss <ref-law> trifft dies namentlich aus anderen (als den in lit. a-e der gleichen Bestimmung genannten) Gründen zu, insbesondere wenn die in der Strafverfolgung tätige Person wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsvertretung befangen sein könnte.
<ref-law> konkretisiert die Verfassungsbestimmung von <ref-law> sowie Art. 6 EMRK. Danach hat jede Person Anspruch darauf, dass ihre Sache von einer unparteiischen, unvoreingenommenen und unbefangenen Gerichtsperson ohne Einwirken sachfremder Umstände entschieden wird. <ref-law> soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Die Garantie des verfassungsmässigen Gerichts wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Solche Umstände können entweder in einem bestimmten Verhalten der betreffenden Gerichtsperson oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Anwendung von <ref-law> ist entscheidend, ob bei objektiver Betrachtungsweise der Ausgang des Verfahrens noch als offen erscheint (<ref-ruling> E. 4.2.2 mit Hinweisen).
Wird der Ausstandsgrund aus materiellen oder prozessualen Rechtsfehlern abgeleitet, so sind diese nur wesentlich, wenn sie besonders krass sind oder wiederholt auftreten, sodass sie einer schweren Amtspflichtverletzung gleichkommen und sich einseitig zulasten einer der Prozessparteien auswirken; andernfalls begründen sie keinen hinreichenden Anschein der Befangenheit. Gegen beanstandete Verfahrenshandlungen sind ansonsten primär die zur Verfügung stehenden Rechtsmittel auszuschöpfen (<ref-ruling> E. 3.2; <ref-ruling> E. 3.2.3; je mit Hinweisen).
2.2. Von besonders krassen oder wiederholten Rechtsfehlern im Sinne einer schweren Verletzung der Amtspflichten kann vorliegend keine Rede sein.
Der Beschwerdeführer macht geltend, die Präsidentin des Kreisgerichts sei befangen, da sie sich mit den Anträgen und Argumenten seiner Eingabe vom 14. Dezember 2020 nicht ernsthaft auseinandergesetzt habe und nicht einmal eine Stellungnahme der Rechtsvertreterin der Geschädigten und deren Eltern zum aufgeworfenen Interessenskonflikt eingeholt habe. Für ihren ablehnenden Entscheid habe sie nur einen Tag aufgewendet und in ihrer Verfügung wesentliche Aspekte nicht berücksichtigt. Aus der Stellungnahme der Richterin gehe sodann hervor, dass sie durch die postwendende Abweisung der Anträge des Beschwerdeführers lediglich die für den 14. Januar 2021 angesetzte Hauptverhandlung habe retten wollen. Durch die voreilige, definitive Verneinung eines Interessenskonflikts ohne jegliche Abklärung habe sich die Richterin auf die Seite der angeblich Geschädigten geschlagen; das Verfahren gegen den Beschwerdeführer sei im Ergebnis nicht mehr offen und damit vorbestimmt.
Die Vorinstanz führte dagegen zu Recht aus, dass ein Gericht grundsätzlich unbegründete Anträge abweisen könne, ohne den anderen Beteiligten eine Gelegenheit zur Stellungnahme einzuräumen. Aus der Verfügung vom 17. Dezember 2020 ergibt sich sodann, dass die Präsidentin des Kreisgerichts gestützt auf die Akten des Verfahrens keinen Interessenskonflikt zwischen dem Opfer und seinen Eltern feststellen konnte. Da sie die Anträge des Beschwerdeführers vom 14. Dezember 2020 somit für offensichtlich unbegründet hielt, ist es a priori nicht zu beanstanden, dass sie das Gesuch ohne Anhörung der Gegenpartei abwies. Auch wenn die Verfügung vom 17. Dezember 2020 allenfalls fehlerhaft sein sollte, so hätte der Beschwerdeführer diese ohne Weiteres anfechten und von der Beschwerdeinstanz überprüfen lassen können. Ein schwerer Verfahrensfehler ist im Verhalten der Richterin jedenfalls nicht zu erkennen.
Auch der vom Beschwerdeführer als ausstandsbegründendes Element aufgeführte Umstand, dass anfangs ein wesentliches Beweismittel nur in Kopie und unvollständig bei den Akten lag, stellt offensichtlich keinen schweren Verfahrensfehler dar, zumal das Original des Beweisstückes gemäss vorinstanzlich festgestelltem Sachverhalt auf Antrag der Verteidigung umgehend zu den Akten erhoben wurde.
2.3. Damit ist nicht zu beanstanden, dass die Vorinstanz das gegen die Präsidentin des Kreisgerichts gerichtete Ausstandsbegehren abgewiesen hat.
3.
Der Beschwerdeführer sieht ausserdem eine Verletzung von Bundesrecht im Umstand, dass die Vorinstanz der Geschädigten und ihren Eltern im Ausstandsverfahren Parteistellung eingeräumt hat. <ref-law> sehe einzig die Stellungnahme der betroffenen Person vor, nicht jedoch von Dritten. Deren Äusserungen seien aus dem Recht zu weisen und die Dispositivziffer 4 (Entschädigung der Privatklägerschaft) sei aufzuheben.
3.1. <ref-law> verpflichtet die vom Ausstandsgesuch betroffene Person zur Stellungnahme zu diesem. Die Stellungnahme ist der antragstellenden Partei mit Blick auf deren Anspruch auf rechtliches Gehör zur Replik zuzustellen (<ref-ruling> E. 2.1; Urteil 1B_110/ 2017 vom 18. April 2017 E. 3.1). Darüber hinaus verbietet die Strafprozessordnung nicht, das Ausstandsgesuch und die Stellungnahme der betroffenen Partei auch der Gegenpartei zuzustellen, da die Ausstandsfrage auch den Anspruch der Gegenpartei auf ein verfassungsmässiges Gericht tangiert. In der Lehre wird denn auch nicht kontrovers diskutiert, ob ein Entscheid über das Ausstandsgesuch mit vorgängiger Anhörung der Gegenpartei verfassungswidrig ist, sondern, im Gegenteil, die Frage, ob die Gegenpartei einen verfassungsmässigen Anspruch auf Anhörung geltend machen kann (vgl. z.B. MARKUS BOOG in: BSK-StPO, 2. Aufl., 2014, N. 11 zu Art. 58; SCHMID/JOSITSCH, Handbuch des schweizerischen Strafprozessrechts, 3. Aufl., 2017, N. 526; DONATSCH ET AL., Kommentar zur Schweizerischen Strafprozessordnung, 3. Aufl., 2020, N. 14 zu Art. 58; YVES DONZALLAZ, Loi sur le Tribunal fédéral, 2008, S. 315, Rz. 649 ff.; ISABELLE HÄNER in: BSK-BGG, 3. Aufl., 2018, N. 5 zu Art. 37).
Die Vorinstanz hat somit kein Bundesrecht verletzt, indem sie der Geschädigten und deren Eltern die Möglichkeit eingeräumt hat, zum Ausstandsgesuch Stellung zu nehmen. Auch die ihnen zugesprochene Entschädigung ist somit nicht rechtswidrig. Die Beschwerde ist diesbezüglich abzuweisen.
4.
Nach dem Gesagten, ist die Beschwerde abzuweisen, soweit darauf einzutreten ist.
Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft des Kantons Wallis, Amt der Region Oberwallis, und dem Kantonsgericht des Kantons Wallis, Einzelrichter der Strafkammer, schriftlich mitgeteilt.
Lausanne, 17. August 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Hänni