Faits :
A.
Le 11 janvier 2008, B._ a déposé une plainte pénale contre A._ pour escroquerie, abus de confiance, faux dans les titres et gestion déloyale.
Le 13 décembre 2019, le Ministère public du canton du Valais (le Ministère public), par son Office central, a confié un mandat d'expertise à C._, Fiduciaire C._ & Associés SA, à U._, et à D._, domicilié à V._ et président du groupe E._ SA.
A._ et B._ se sont déterminés, par courriers du 29 septembre 2020, sur le rapport d'expertise qui leur a été transmis le 7 septembre 2020: le plaignant a conclu au renvoi de la cause en jugement tandis que le prévenu a requis l'administration d'une nouvelle expertise.
Par ordonnance datée du 24 mars 2021, le Ministère public a refusé la requête du prévenu au motif que l'expertise contenait les éléments nécessaires pour connaître des infractions retenues contre celui-ci et fixer la peine en cas de condamnation. Il a, le même jour, déposé un acte d'accusation à l'encontre du prévenu pour abus de confiance auprès du Tribunal des districts de Martigny et Saint-Maurice (le Tribunal de district).
Le 30 mars 2021, le Tribunal de district a suspendu la cause et renvoyé l'acte d'accusation au Ministère public pour qu'il le complète voire le corrige dans le sens des considérants.
Par acte du 2 avril 2021, A._ a formé un recours auprès de la Chambre pénale du Tribunal cantonal du Valais (le Tribunal cantonal) contre l'ordonnance du 24 mars 2021 précitée concluant en substance à l'administration d'une nouvelle expertise. Par courrier du 19 avril 2021, le Ministère public a indiqué ne pas s'opposer à un complément d'expertise. Le Tribunal cantonal a, le 11 juin 2021, déclaré ce recours irrecevable, dans la mesure où il n'était pas sans objet.
B.
Par courrier du 26 avril 2021, A._ a présenté au Tribunal cantonal une demande de récusation du procureur Jean-Pierre Greter.
Par arrêt du 11 juin 2021, le Tribunal cantonal a rejeté la demande de récusation dirigée contre le procureur Jean-Pierre Greter déposée par A._.
C.
Par acte du 16 août 2021, A._ forme un recours en matière pénale par lequel il demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que le procureur Jean-Pierre Greter est récusé dans la présente affaire.
Invités à se déterminer sur le recours, le Tribunal cantonal y renonce et se réfère à ses considérants tandis que le procureur général du Valais, pour le Ministère public et en l'absence du procureur Jean-Pierre Greter, conclut au rejet du recours.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation rejetée, a qualité pour recourir (<ref-law>). Pour le surplus, le recours a été interjeté en temps utile (art. 46 al. 1 let. b et 100 al. 1 LTF) contre une décision rendue par une autorité cantonale statuant en tant qu'instance unique (<ref-law> et 59 al. 1 let. c CPP) et les conclusions prises sont recevables (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
Le recourant se plaint en substance d'une violation des art. 9 et 30 Cst. et des art. 6, 56 let. f et 58 CPP et se prévaut d'une appréciation arbitraire des faits. Il reproche en particulier à l'instance précédente d'avoir arbitrairement estimé tardifs ses griefs en lien avec la communication de fin d'enquête du 24 février 2015 et l'acte d'accusation du 24 mars 2021. Selon lui, les motifs de récusation invoqués seraient fondés uniquement sur le courrier du 19 avril 2021, dans lequel le procureur annonçait ne plus s'opposer au complément d'expertise requis. La mention des actes de procédure précédents aurait eu pour but de démontrer le comportement antérieur du procureur qui permettrait d'apprécier le caractère partial du soudain revirement de position effectué par celui-ci le 19 avril 2021. Il soutient encore que ce changement de position démontrerait une prévention effective de ce magistrat, car ce dernier n'aurait pas exposé les raisons l'ayant convaincu d'ordonner un complément d'expertise et semblerait avoir changé de position uniquement à la suite du recours déposé le 2 avril 2021 à cet égard.
2.1. Un magistrat est récusable, selon l'art. 56 let. f CPP, lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à le rendre suspect de prévention. Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2, arrêts 1B_255/2021 du 27 juillet 2021 consid. 3.1; 1B_1647/2020 du 20 mai 2021 consid. 3.1).
Des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que le juge est prévenu ou justifient à tout le moins objectivement l'apparence de prévention (<ref-ruling> consid. 3.2; <ref-ruling> consid. 3.2.3). Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a donc pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises notamment par la direction de la procédure (<ref-ruling> consid. 3.2; arrêt 1B_255/2021 du 27 juillet 2021 consid. 3.1).
Enfin, conformément à l'<ref-law>, la récusation doit être demandée sans délai, dès que la partie a connaissance du motif de récusation, c'est-à-dire dans les jours qui suivent la connaissance de la cause de récusation, sous peine de déchéance (<ref-ruling> consid. 8.4.3; arrêt 1B_340/2021 du 21 juin 2021 consid. 3).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 7.1; arrêt 1B_647/2020 du 20 mai 2021 consid. 3.1).
2.2. En l'occurrence, la cour cantonale a relevé d'emblée que les griefs formulés en lien avec la communication de fin d'enquête du 24 février 2015 et l'acte d'accusation du 24 mars 2021 étaient tardifs. Elle a exposé qu'elle peinait à comprendre en quoi le changement de position en faveur du recourant constituait un motif de récusation et cherchait en vain une quelconque circonstance de nature à rendre le procureur objectivement suspect de prévention et à faire redouter une activité partiale de sa part.
2.3. Cette appréciation ne prête pas le flanc à la critique.
2.3.1. La demande en récusation a été déposée le 26 avril 2021, soit plus de six ans après la communication de fin d'enquête du 24 février 2015 et environ un mois après la décision de refus de l'administration d'une nouvelle expertise du 24 mars 2021 et le dépôt de l'acte d'accusation auprès du Tribunal de district du même jour. Or, en matière pénale, la demande de récusation déposée trois mois ou même vingt jours après avoir pris connaissance du motif de récusation est irrecevable pour cause de tardiveté (cf. arrêts 1B_630/2020 du 23 mars 2021 consid. 2.2; 1B_118/2020 du 27 juillet 2020 consid. 3.2). Par conséquent, c'est à juste titre que la cour cantonale a jugé tardifs les griefs du recourant en lien avec ces éléments.
2.3.2. La procédure de récusation a pour but d'écarter un magistrat partial, respectivement d'apparence partiale afin d'assurer un procès équitable à chaque partie (cf. arrêt 1B_647/2020 du 20 mai 2021 consid. 3.1; Yvan Jeanneret/André Kuhn, Précis de procédure pénale, 2e éd. 2018, n° 4009); un magistrat peut notamment être partial ou apparaître comme tel, lorsqu'il rend une décision en faveur ou au détriment d'une partie. Le comportement du magistrat s'analyse donc à l'aune du risque qu'il fait courir sur le droit à un procès équitable de la partie requérant sa récusation. En principe, une partie ne peut pas fonder sa requête sur une décision rendue en sa faveur: cette dernière ne créant pas de risque de violation de son droit à un procès équitable, il n'existe pas de soupçon de prévention du magistrat en charge de l'affaire. En d'autres termes, la partie, dont la demande de récusation est fondée sur une décision rendue en sa faveur, ne possède en principe pas d'intérêt juridiquement protégé à la récusation du magistrat en charge de l'affaire (cf. <ref-law>).
En l'espèce, la décision fondant le motif de récusation invoqué est favorable au recourant: le procureur y expose ne plus s'opposer au complément d'expertise requis par celui-ci. Par conséquent, faute de danger de violation de son droit à un procès équitable, le motif invoqué par le recourant n'est pas à même de démontrer l'existence de soupçon, respectivement de prévention avérée du procureur à son égard. Bien au contraire, ce dernier acquiesce à la requête du recourant tendant à l'administration d'un complément d'expertise, lui assurant ainsi le respect complet de ses droits.
L'argumentation du recourant relative à l'absence de motivation de ce changement d'avis qui serait, selon lui, uniquement dû au risque d'admission de son recours n'y change rien: cette décision lui reste favorable et ne met pas en péril ses droits à un procès équitable. De plus, le recourant perd de vue que la procédure de récusation n'a pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises notamment par la direction de la procédure; il appartient aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre (cf. <ref-ruling> consid. 3.2). Or, de telles erreurs, même constatées et redressées par l'instance supérieure, ne créent pas encore de suspicion de partialité (cf. <ref-ruling> consid. 3.2; arrêt 1B_25/2021 du 15 avril 2021 consid. 2.1 s.; Yvan Jeanneret/André Kuhn, op. cit., n° 4011; Markus Boog, in Basler Kommentar, Schweizerische Strafprozessordnung, 2e éd. 2014, n° 59 ad <ref-law>). Si tel est le cas, il devrait, en principe, en aller de même de l'acquiescement d'un procureur aux conclusions prises par une partie lors d'une telle procédure.
2.3.3. Par ailleurs, aucun élément ne permet de corroborer les craintes du recourant quant à un comportement partial du procureur à son égard. Celui-là perd notamment de vue que, dans la phase de l'enquête préliminaire, ainsi que de l'instruction, en particulier lorsque le procureur rend une ordonnance, et jusqu'à la mise en accusation, celui-ci peut être amené à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions; cela ne signifie toutefois pas encore qu'il est partial. Au contraire, tel pourrait être le cas s'il utilisait des procédés déloyaux, s'il instruisait à charge ou s'il avantageait une partie au détriment d'une autre (cf. ATF <ref-ruling> consid. 3.2.2; arrêt 1B_25/2021 du 15 avril 2021 consid. 2.1). Or, au risque de violer les exigences des art. 42 al. 2 et 106 al. 2 LTF, le recourant ne peut se contenter de simplement prétendre être victime de partialité, d'arbitraire et d'une instruction menée à charge sans dûment le motiver et le démontrer par des éléments concrets. Il en va de même quant à la prétendue rapidité avec laquelle le procureur mènerait l'enquête afin d'éviter une prescription de l'action pénale: celle-ci n'est soutenue par aucune preuve. Quoiqu'il en soit, être rapide - ce que promeut au demeurant l'<ref-law> - ne signifie pas encore être partial et le recourant ne démontre pas le contraire.
Dans ce contexte, la cour cantonale n'est pas tombée dans l'arbitraire en constatant l'absence de toute circonstance de nature à rendre le procureur intimé objectivement suspect de prévention et à faire redouter une activité partiale de sa part.
2.4. Par conséquent, le grief de violation des art. 9 et 30 Cst. et des art. 6, 56 let. f et 58 CPP doit être rejeté, dans la mesure de sa recevabilité.
3.
Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité.
Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'intimé et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 22 octobre 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Nasel