Sachverhalt:
A.
Die Staatsanwaltschaft des Kantons Wallis führt eine Strafuntersuchung gegen A._ wegen versuchter Gläubigerschädigung und mehrfacher Gläubigerbevorzugung. Ihm wird vorgeworfen, am 11. April 2018 Fr. 35'000.-- in bar von seinem Konto abgehoben und diverse Rechnungen mit diesem Geld bezahlt zu haben. Dies obschon am 10. April 2010 der Konkurs über ihn eröffnet worden sei und er folglich das Recht, über seine Vermögenswerte zu verfügen, verloren habe. Mit Gesuch vom 18. Februar 2020 verlangte A._ den Ausstand der Staatsanwältin in diesem Verfahren. Diese beantragte mit Stellungnahme vom 19. Februar 2020 die Abweisung des Ausstandsgesuchs. Das Kantonsgericht Wallis wies das Gesuch am 26. März 2020 ab.
B.
Mit Eingabe vom 15. Mai 2020 führt A._ Beschwerde in Strafsachen an das Bundesgericht. Er beantragt sinngemäss, der Entscheid des Kantonsgerichts Wallis vom 26. März 2020 sei aufzuheben und Staatsanwältin Karin Graber sei für das Verfahren MPG 18 2759 in den Ausstand zu versetzen.
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Kantonsgericht sowie die Einwohnergemeinde Zermatt verzichten auf eine Vernehmlassung. Der Beschwerdeführer nimmt erneut Stellung.

Erwägungen:
1.
1.1. Gemäss <ref-law> wird das bundesgerichtliche Verfahren in einer der Amtssprachen geführt, in der Regel in der Sprache des angefochtenen Entscheids. Von dieser Regel abzuweichen besteht hier kein Grund. Das bundesgerichtliche Urteil ergeht deshalb in deutscher Sprache, auch wenn der Beschwerdeführer seine Eingabe in französischer Sprache eingereicht hat.
1.2. Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen, selbstständig anfechtbaren Zwischenentscheid über den Ausstand im Rahmen eines Strafverfahrens. Dagegen steht die Beschwerde in Strafsachen an das Bundesgericht offen (vgl. Art. 78 ff. bzw. <ref-law>). Der Beschwerdeführer ist Beschuldigter im Strafverfahren, war am vorinstanzlichen Verfahren beteiligt und ist als Gesuchsteller sowie Adressat des angefochtenen Entscheids zur Beschwerde legitimiert (vgl. <ref-law>). Die 30-tägige Beschwerdefrist (<ref-law>) ist unter Berücksichtigung des Fristenstillstands an Ostern (<ref-law>) eingehalten. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, weshalb auf die Beschwerde grundsätzlich einzutreten ist.
2.
2.1. Die Beschwerdegegnerin ist der Auffassung, das Gesuch sei zwei Monate verspätet erfolgt, weshalb auf die Beschwerde nicht einzutreten sei. Der angebliche Ausstandsgrund, welcher darin liegen solle, dass sie den Konkursbeamten nicht habe einvernehmen wollen, sei dem Beschwerdeführer bereits viel früher bekannt gewesen. Ihrer Ansicht nach hätte der Beschwerdeführer daher unverzüglich nach der ersten Einvernahme vom 11. Dezember 2019 bzw. nach dem Beweismittelentscheid vom 18. Dezember 2019, in welchem die beantragte Einvernahme abgewiesen und stattdessen ein schriftlicher Bericht eingeholt worden sei, ihren Ausstand beantragen müssen.
2.2. Will eine Partei den Ausstand einer in einer Strafbehörde tätigen Person verlangen, so hat sie gemäss <ref-law> der Verfahrensleitung ohne Verzug ein entsprechendes Gesuch zu stellen, sobald sie vom Ausstandsgrund Kenntnis hat. Nach der Rechtsprechung muss der Gesuchsteller den Ausstand in den nächsten Tagen nach Kenntnis des Ausstandsgrunds verlangen. Andernfalls verwirkt er den Anspruch (<ref-ruling> E. 4.3 S. 69 mit Hinweisen). Ein sechs bis sieben Tage nach Kenntnis des Ausstandsgrunds gestelltes Ausstandsgesuch ist rechtzeitig. Wartet der Gesuchsteller damit zwei Wochen zu, ist es dagegen verspätet (Urteil 1B_18/2020 vom 3. März 2020 E. 3.1 mit Hinweis). Bei der Annahme der Verwirkung des Rechts, den Ausstand zu verlangen, ist Zurückhaltung geboten (Urteil 1B_22/2019 vom 17. April 2019 E. 3.2 mit Hinweis).
2.3. Ob die Auffassung der Beschwerdegegnerin zutrifft und der Beschwerdeführer das Gesuch tatsächlich verspätet eingereicht hat, kann vorliegend offen bleiben. Das Ausstandsgesuch erweist sich, wie nachfolgend aufzuzeigen ist, als unbegründet und ist ohnehin abzuweisen.
3.
3.1. Die Ausstandsgründe für die in einer Strafbehörde tätigen Justizpersonen sind in <ref-law> geregelt. Zu den Strafbehörden gehören neben den Gerichten (<ref-law>) die Strafverfolgungsbehörden, darunter die Organe der Staatsanwaltschaft (<ref-law>). Von den in Art. 56 lit. a-e StPO geregelten besonderen Ausstandsgründen abgesehen (persönliches Interesse an der Strafsache, Vorbefassung in anderer Stellung, persönliche Beziehung zu Parteien usw.), tritt ein Staatsanwalt oder eine Staatsanwältin in den Ausstand, wenn diese Justizperson "aus anderen Gründen, insbesondere wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand, befangen sein könnte" (<ref-law>).
Befangenheit einer staatsanwaltlichen Untersuchungsleiterin oder eines Untersuchungsleiters ist nach der Praxis des Bundesgerichts nicht leichthin anzunehmen. Zu bejahen ist sie, wenn nach objektiver Betrachtung besonders krasse oder ungewöhnlich häufige Fehlleistungen der Untersuchungsleitung vorliegen, welche bei gesamthafter Würdigung eine schwere Verletzung der Amtspflichten darstellen und sich einseitig zulasten einer der Prozessparteien auswirken (<ref-ruling> E. 3.2 S. 74 f.; Urteil 1B_278/2020 vom 18. August 2020 E. 3.2; je mit Hinweisen). Diesbezüglich sind primär die zur Verfügung stehenden Rechtsmittel gegen beanstandete Verfahrenshandlungen auszuschöpfen (vgl. <ref-ruling> E. 3.2 S. 75 mit Hinweisen).
3.2. Der Beschwerdeführer ist der Auffassung, es bestünden drei Gründe, welche in ihrer Gesamtheit für eine Befangenheit der Beschwerdegegnerin im Sinne von <ref-law> sprächen. Erstens habe sie mehrfach eine von ihm beantragte Einvernahme des Zeugen B._, Vorsteher des Betreibungs- und Konkursamts des Bezirks Visp, abgelehnt und sich mit einem schriftlichen Bericht nach <ref-law> begnügt. Dies stelle eine Verletzung von <ref-law> dar. Dass die Beschwerdegegnerin auf die Einvernahme des für ihn wichtigen Zeugen verzichtet habe, sei ein gewichtiges Indiz für ihre Befangenheit. Seiner Auffassung nach hätte B._ bestätigen können, dass er die Fr. 35'000.-- am 11. April 2018 in gutem Glauben abgehoben bzw. dass er frühestens am 12. April 2018 von der Konkurseröffnung und somit vom Verfügungsverbot erfahren habe. Zweitens habe sich die Beschwerdegegnerin geweigert, eine schriftliche Korrespondenz zwischen ihr und dem Dienstchef der Betreibungs- und Konkursämter über den Konkursbeamten B._, dem sie Mängel in der Amtsführung vorwerfe, zu den Akten zu nehmen. Diesem Schreiben könne entnommen werden, dass der Fehler dem Konkursamt zuzuschreiben sei. Dass die Beschwerdeführerin diese Korrespondenz nicht zu den Akten nehmen wolle, zeige ihre Befangenheit ebenfalls deutlich. Drittens spreche auch der Umstand, dass die Beschwerdegegnerin bereits einmal ein Strafverfahren gegen ihn geführt habe, für ihre Befangenheit ihm gegenüber.
3.3. Mit diesen Einwänden vermag der Beschwerdeführer indes, wie von der Vorinstanz zu Recht erwogen, nicht aufzuzeigen, weshalb die Beschwerdegegnerin in den Ausstand zu treten hätte.
Aus dem abgelehnten Beweisantrag, nämlich der Einvernahme des angeblichen Zeugens, kann jedenfalls nicht auf die Befangenheit der Beschwerdegegnerin geschlossen werden. Folgt man der Behauptung des Beschwerdeführers kann es zwar als problematisch erscheinen, dass die Beschwerdegegnerin auf eine angeblich für ihn entlastende Einvernahme verzichtet hat. Indessen hat sie von B._ einen schriftlichen Bericht eingefordert, worin sich dieser zum Vorfall äussern konnte. Dies spricht gegen die Voreingenommenheit der Beschwerdegegnerin gegenüber dem Beschwerdeführer. Vertiefter ist hier nicht darauf einzugehen, ob die Ablehnung des Beweisantrags rechtmässig war oder nicht, wie der Beschwerdeführer detailliert darzulegen versucht. Das liefe auf eine im Ausstandsverfahren unzulässige Überprüfung der Rechtmässigkeit des Beweisergänzungsentscheids der Beschwerdegegnerin hinaus (vgl. Urteil 1B_181/2017 vom 2. Juni 2017 E. 3.3). Im Übrigen kann der Beschwerdeführer seinen Beweisantrag vor dem Sachgericht nochmals stellen. Dieses wird gegebenenfalls konkret zu prüfen haben, ob die Ablehnung des Beweisantrags zu Recht erfolgte oder, wie der Beschwerdeführer geltend macht, seine Beweisofferte im Sinne der Gewährung und Pflicht zur Entgegennahme von Entlastungsbeweisen doch noch zu befolgen sein wird. Im heutigen Zeitpunkt ist in diesem Zusammenhang ein schwerwiegender Verfahrensmangel, der einen Ausstand zu begründen vermöchte, nicht ersichtlich.
Weiter stellt auch die von der Beschwerdegegnerin nicht zu den Akten genommene Korrespondenz keinen groben Verfahrensfehler dar, aufgrund dessen Zweifel an ihrer Unvoreingenommenheit angenommen werden müssten. Selbst wenn es fraglich sein könnte, warum sich die Beschwerdegegnerin entschieden hat, das Schreiben nicht zu den Akten zu nehmen, kann daraus nicht auf ihre Parteilichkeit und Voreingenommenheit geschlossen werden. Dies trifft selbst dann zu, wenn insofern von einer Verletzung der Aktenführungspflicht auszugehen wäre, was die Beschwerdegegnerin allerdings bestreitet, da es sich um ein Schreiben in einem anderen Verfahrensdossier mit einem anderen Beschuldigten handle.
Wie die Vorinstanz zutreffend erwogen hat, begründet gemäss bundesgerichtlicher Rechtsprechung schliesslich auch der Umstand, dass die Beschwerdegegnerin als Staatsanwältin bereits früher ein Verfahren in einer anderen Strafsache gegen den Beschwerdeführer geführt hat, keine unzulässige Vorbefassung (<ref-law> e contrario) bzw. nicht den Anschein der Befangenheit (vgl. <ref-ruling> E. 3.1 S. 74; <ref-ruling> E. 1 S. 279; Urteil 1B_228/2018 vom 18. Juli 2018 E. 4.4; je mit Hinweisen).
Demzufolge ist festzuhalten, dass sich bei einer gesamthaften Würdigung der vom Beschwerdeführer kritisierten Verhaltensweisen der Beschwerdegegnerin keine ausstandsbegründende Fehlleistung bzw. keine schwerwiegenden Verfahrensfehler erkennen lassen. Damit besteht im Strafverfahren gegenüber dem Beschwerdeführer keine Ausstandspflicht der Beschwerdegegnerin.
4.
Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Kosten des bundesgerichtlichen Verfahrens dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Einwohnergemeinde Zermatt und dem Kantonsgericht Wallis, Strafkammer, schriftlich mitgeteilt.
Lausanne, 7. Oktober 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Sauthier