Faits :
A.
Le 5 octobre 2008, B._ SA, C._ et D._ SA ont déposé plainte pénale contre A._ et son épouse notamment pour vol, appropriation illégitime et violation de la loi sur la concurrence déloyale.
Le 4 juillet 2012, B._ SA a déposé plainte pénale contre A._ et son épouse pour violation du droit à la marque. Par ordonnance du 19 décembre 2013, le Ministère public du canton du Valais (ci-après: le Ministère public) n'est pas entré en matière sur cette plainte.
Le 12 septembre 2014, A._ et son épouse ont déposé plainte pénale en particulier contre C._ pour diffamation et calomnie. Par jugement du 8 juin 2018, le Tribunal du district de Loèche et Rarogne occidental a notamment libéré C._ des chefs d'accusation de calomnie et de concurrence déloyale. Ce jugement a été confirmé par la 1ère Cour pénale du Tribunal cantonal du canton du Valais le 20 décembre 2019 et par le Tribunal fédéral le 16 novembre 2020 (cause 6B_154/2020).
B.
Le 1er juin 2018, C._ a déposé plainte pénale contre A._ pour calomnie (art. 174 CP), diffamation (art. 173 CP), respectivement dénonciation calomnieuse (art. 303 CP). Par ordonnance du 7 août 2019, le Ministère public a reconnu A._ coupable de calomnie. Celui-ci a fait opposition à l'ordonnance, le 16 août 2019.
Le 28 janvier 2021, la Procureure Corinne Caldelari a entendu C._ en qualité de partie plaignante, puis A._ en qualité de prévenu. Elle a notamment demandé à la partie plaignante si elle avait traité A._ de "Schlawiner", soit de roublard.
Le 5 février 2021, A._ a demandé la récusation de la Procureure Caldelari. Celle-ci n'y a pas donné une suite favorable.
Par ordonnance du 27 avril 2021, le Juge unique de la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté la demande de récusation dans la mesure de sa recevabilité.
C.
Agissant par la voie du recours en matière pénale, A._ demande principalement au Tribunal fédéral de réformer l'ordonnance du 27 avril 2021 en ce sens que la demande de récusation litigieuse est admise. Il conclut subsidiairement à l'annulation de l'ordonnance du 27 avril 2021 et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal se réfère à son ordonnance et la Procureure prénommée ne s'est pas déterminée.

Considérant en droit :
1.
Conformément aux art. 78, 79 et 92 al. 1 LTF, une décision cantonale relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir en vertu de l'art. 81 al. 1 LTF. Pour le surplus, le recours a été interjeté en temps utile (art. 100 al. 1 LTF) contre une décision rendue en instance cantonale unique (art. 80 al. 2 in fine LTF) et les conclusions présentées sont recevables (art. 107 al. 2 LTF). Il y a donc lieu d'entrer en matière.
2.
Le recourant reproche à l'instance précédente d'avoir rejeté la demande de récusation de la Procureure intimée. Il se plaint d'une violation de l'art. 56 let. f CPP.
2.1. Un magistrat est récusable pour l'un des motifs prévus aux art. 56 let. a à e CPP, qui n'ont pas été invoqués en l'espèce. Il l'est aussi selon l'art. 56 let. f CPP, "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 Cst. et 6 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 4.3; <ref-ruling> consid. 3.2). L'impartialité subjective d'un magistrat se présume jusqu'à preuve du contraire (<ref-ruling> consid. 3.2.1).
Dans la phase de l'enquête préliminaire, ainsi que de l'instruction et jusqu'à la mise en accusation, le ministère public est l'autorité investie de la direction de la procédure (art. 61 let. a CPP). A ce titre, il doit veiller au bon déroulement et à la légalité de la procédure (art. 62 al. 1 CPP). Durant l'instruction, il doit établir, d'office et avec un soin égal, les faits à charge et à décharge (art. 6 CPP); il doit statuer sur les réquisitions de preuves et peut rendre des décisions quant à la suite de la procédure (classement ou mise en accusation), voire rendre une ordonnance pénale pour laquelle il assume une fonction juridictionnelle. Dans ce cadre, le ministère public est tenu à une certaine impartialité même s'il peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions à un moment donné de l'enquête. Tout en disposant, dans le cadre de ses investigations, d'une certaine liberté, le magistrat reste tenu à un devoir de réserve. Il doit s'abstenir de tout procédé déloyal, instruire tant à charge qu'à décharge et ne point avantager une partie au détriment d'une autre (<ref-ruling> consid. 3.2.2; <ref-ruling> consid. 2.2.1).
Des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que la personne en cause est prévenue ou justifient à tout le moins objectivement l'apparence de prévention. Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a donc pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises par la direction de la procédure (ATF <ref-ruling> consid. 3.2).
2.2. En l'espèce, le recourant reproche d'abord à la Procureure prénommée d'avoir commis une "erreur sur les éléments constitutifs de l'infraction dans l'ordonnance pénale du 7 août 2019". Le recourant perd cependant de vue que la procédure de récusation n'a pas pour objet de permettre aux parties de contester une décision de fond. Le recourant a par ailleurs fait opposition à l'ordonnance du 7 août 2019 et son grief est traité dans ce cadre.
2.3. Le recourant soutient ensuite que la Procureure Caldelari serait partiale en raison d'une "erreur sur l'absence d'instruction à décharge" et d'une "erreur portant sur le refus des mesures d'instruction" lors de l'audition du 28 janvier 2021. Il lui fait grief de ne pas avoir posé certaines questions proposées par la défense en prétextant faussement qu'elles n'étaient pas en lien avec l'état factuel de l'ordonnance pénale du 7 août 2019. Il lui reproche ainsi de ne pas lui avoir demandé ce qu'il avait voulu exprimer lors de l'audition du 20 mars 2018 par "Ich denke, es war C._. Es ist alles in den Akten". Il affirme aussi que la Procureure intimée aurait dû identifier qui était visé par la phrase "ce sont tous une bande de criminels organisés" prononcée lors de l'entretien téléphonique du 14 juillet 2014 entre C._ et l'Autorité de protection de l'enfant et de l'adulte (APEA) des Coteaux du Soleil: cela aurait permis, selon lui, d'établir que lorsque C._ avait utilisé l'expression "qu'[ils seraient] tous une bande de criminels organisés", il faisait en réalité référence à A._. Le recourant dénonce aussi le refus de poser une question en lien avec un courriel que C._ aurait envoyé à 37 personnes du monde politique le 16 juillet 2014 et une question portant sur le fait que la partie plaignante connaissait Me G._ et Me H._
A l'instar de la cour cantonale, il y a toutefois lieu de relever qu'un simple refus du procureur de donner suite à une demande de preuves, qu'il estime à tort ou à raison inutile, ne peut être assimilé à un parti pris en défaveur de son auteur. Le refus du Ministère public de soumettre certaines des questions proposées par le recourant n'est donc pas de nature à démontrer une quelconque prévention de sa part, ce d'autant moins que cette décision a été dûment motivée: la Procureure prénommée a en effet indiqué que le tri opéré en lien avec les questions soumises par le recourant visait à s'assurer que celles-ci demeurent strictement dans le cadre de l'ordonnance pénale du 7 août 2019.
On peine d'autant plus à suivre le recourant puisqu'à la lecture du procès-verbal de l'audition du 28 janvier 2021, on constate que la Procureure a expressément interrogé la partie plaignante au sujet de l'entretien téléphonique du 14 juillet 2014 (questions n°s 6, 7, 8 et 20), qu'elle a soumis la notice téléphonique du 14 juillet 2014 à C._ et qu'elle a posé précisément une question tendant à identifier l'auteur des propos "bande de criminels organisés" figurant dans la notice de cet entretien téléphonique. Quoi qu'en dise le recourant, le fait que les réponses données par la partie plaignante soient évasives n'est pas de nature à rendre la magistrate professionnelle suspecte de partialité.
Il ressort aussi du procès-verbal de l'audition du 28 janvier 2021 que A._ a été à même de poser 17 questions complémentaires à C._ et que celui-ci ne l'a nullement interrompu: si dans un premier temps la partie plaignante a affirmé qu'elle refuserait de répondre aux questions de la défense, elle a finalement obtempéré, après que la Procureure lui a rappelé le droit du prévenu de poser des questions complémentaires à la partie plaignante. Le recourant a ainsi pu interroger C._ en particulier au sujet de sa réaction quant à la transmission par le recourant des décisions judiciaires rendues en sa faveur à diverses personnalités du monde politique et journalistique. Il a aussi pu le questionner au sujet des liens l'unissant à E._ et sur le fait que la partie plaignante avait ou non tenté d'agir contre A._ en s'immisçant dans la procédure ouverte devant l'APEA concernant la précitée. L'interrogatoire a aussi porté sur l'entretien téléphonique précité du 14 juillet 2014. Le recourant a encore pu interroger C._ au sujet des contacts qu'il aurait eus avec les époux F._ et de la relation existant entre Me G._ et A._. Dans ces circonstances, on ne voit pas en quoi la Procureure aurait fait preuve de partialité à l'encontre du recourant. Le recourant se contente en effet de reprocher à la magistrate intimée de ne pas avoir pris en compte les éléments apportés dans son opposition à l'ordonnance du 7 août 2019 et ainsi de contester la manière dont l'instruction est menée. Or il appartient aux juridictions normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'est pas le lieu pour faire valoir de telles critiques.
Enfin, le fait que la magistrate intimée a informé les parties, le lendemain de l'audition du 28 janvier 2021, qu'elle transmettrait l'affaire au Tribunal si aucun retrait d'opposition n'intervenait, n'apparaît pas non plus objectivement de nature à entacher son impartialité.
2.4. En définitive, aucun des motifs avancés par le recourant, pris séparément ou dans leur ensemble, ne permet objectivement de retenir une apparence de prévention de la Procureure intimée. Dans ces conditions, il y a lieu de constater que la garantie du juge impartial a été respectée, de sorte que c'est à bon droit que le Tribunal cantonal a rejeté la demande de récusation et constaté qu'il n'y avait aucune violation de l'art. 6 al. 2 CPP.
3.
Le recours est par conséquent rejeté.
Les frais judiciaires sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant, à la Procureure Caldelari et au Juge unique de la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 5 août 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Tornay Schaller